Skip to main content

ETL 多字段配置

某些场景下，一个 Schema 会包含上百个字段，逐一在 UI 中调整属性的 ETL 选项会非常耗时。etl 专家模式支持通过 JSON 定义批量字段，同时结合模版变量快速生成配置。

适用场景​

  • 已有字段清单（Excel/CSV）并希望一次性导入到系统中。
  • 同类字段拥有相同的同步策略，例如统一的 syncMode、cron 或者 batchSize。
  • 需要在 Git 中管理配置，避免多人协作时的冲突。

文件结构​

{
  "fields": [
    {
      "name": "字段英文名",
      "label": "展示名称",
      "syncMode": "incremental",
      "source": {
        "type": "sql",
        "query": "SELECT ..."
      }
    }
  ]
}

常用配置项：

  • syncMode：full、incremental，决定每次同步是全量覆盖还是增量追加。
  • cron：Crontab 表达式，用于调度同步任务。
  • source：数据来源；当 type 为 sql 时需要提供 query，也可以对接存储过程等其他类型。
  • transformers：数组，声明额外的数据清洗逻辑，例如字段映射、合并或拆分。

操作步骤​

  1. 在 Schema 列表中切换到“专家模式”。
  2. 在左侧选择 etl，点击“编辑 JSON”。
  3. 贴入上述结构的配置，保存后即可生效。
  4. 点击“测试同步”验证 SQL 与字段映射是否正确。

调试建议​

  • 如果字段较多，建议分批提交，便于定位错误。
  • 可以在 JSON 中为每个字段添加 comment，用于备注来源或责任人。
  • 当需要禁用某个字段的同步时，将 enabled 设为 false 即可保留配置但不执行。

更多关于 Schema 级别的 ETL 说明，见主文档 Schema 配置。