创建数据同步任务是需要在mysql实例的主机上执行

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:Release Version: v4.0.0-alpha-1119-g41c7d7e94
  • 【问题描述】: 在执行“start-task conf/task.yaml”时,提示“field mydumper-thread not found in type config.MySQLInstance line 20: field loader-thread not found in type config.MySQLInstance line 21: field syncer-thread not found in type config.MySQLInstance”。这个命令是否需要在mysql实例的机器上执行。
  1. 请问 dm 使用的是什么版本? {dm_ansible_path}/resources/bin/dm-worker -V
  2. 麻烦上传下报错的 task.yaml

############dm版本#######################

    Release Version: v1.0.1
    Git Commit Hash: e63c6cdebea0edcf2ef8c91d84cff4aaa5fc2df7
    Git Branch: release-1.0
    UTC Build Time: 2019-09-10 06:15:10
    Go Version: go version go1.12 linux/amd64

############task.yaml内容###################

    ---
    name: tidb             # 任务名称,需要全局唯一
    task-mode: all         # 任务模式,可设为 "full"、"incremental"、"all"

    target-database:       # 下游数据库实例配置
      host: "172.19.207.36"
      port: 4000
      user: "root"
      password: ""         # 如果不为空则需经过 dmctl 加密


    black-white-list:        # 上游数据库实例匹配的表的 black & white list 过滤规则集
      bw-rule-1:             # 黑白名单配置的名称
        do-dbs: ["~^app_*"] # 同步哪些库

    mysql-instances:
      - source-id: "mysql-replica-01"  # 上游实例或者复制组 ID,参考 `dm-master.toml` 的 `source-id` 配置
        black-white-list: "bw-rule-1" # 黑白名单配置名称
        mydumper-thread: 4             # mydumper 用于导出数据的线程数量,在 v1.0.2 版本引入
        loader-thread: 16              # loader 用于导入数据的线程数量,在 v1.0.2 版本引入
        syncer-thread: 16              # syncer 用于同步增量数据的线程数量,在 v1.0.2 版本引入
mydumper-thread: 4             # mydumper 用于导出数据的线程数量,在 v1.0.2 版本引入
loader-thread: 16              # loader 用于导入数据的线程数量,在 v1.0.2 版本引入
syncer-thread: 16              # syncer 用于同步增量数据的线程数量,在 v1.0.2 版本引入

这几个参数是 v1.0.2 的新增参数。(备注里面有标明)。

  1. 建议使用新版本的 DM
  2. 如果还是想使用 v1.0.1 则需要添加 mydumpers , loaders , syncers 三个处理单元的配置项。

好的,我试试。

嗯,试用新版本时有问题欢迎反馈~