DM 最新版本任务配置问题

  • 【TiDB 版本】:V3.0.5
  • 【问题描述】: DM 最新版本任务配置问题

DM集群最新版本已经安装成功,也能够正常启动DM集群,但是在dm_master和dm-worker的conf下并没有task.yaml.example文件,也没有看到 task_basic.yaml和task_advanced.yaml文件,我想问下最近版本的DM启动数据迁移任务,到底是使用哪一个文件,文件位于哪个目录下面,master和work都需要配置吗? 看到用户手册,几个文档写的都不太一样,看的有点蒙圈,建议整合一下。

这是我的inventory.ini文件:inventory.ini (744 字节) 这是DM master和worker conf下的目录:

目前建议使用 1.0.2 版本 DM V1.02 版本重点对 DM 的易用性做了优化(功能并没有缩水),主要包括:简化配置,优化 query-status 输出,对 DM 文档的结构和内容都做了改进。体验更简单的 DM —— v1.0.2

好的,那我重新部署下1.0.2版本的试试。 另外,DM支持从阿里云RDS mysql数据库上同步数据过来吗,另外DM应该支持整合库的迁移的吧,不需要去指定具体某部分表?

1.支持从 RDS 同步数据,注意隐式主键的问题,可以看下这个帖子 Dm和syncer同步rds因隐式主键导致的报错问题

2.同步整个库或者同步库的某些表,都是支持的。

这两个文件都是在 dm-ansible 的 conf 下面的。

OK, 我下午还使用了阿里自带的迁移工具DTS想直接把数据从阿里的RDS数据库的数据导入到TiDB,连接已经成功了,但是DTS报错是没有权限访问,但是TiDB数据库我这边已经建立了root和tidb两个用户,并且赋予了所有操作权限,这是为什么? 以下是tidb.log截图:

参考下这个帖子呢,类似的问题 使用阿里DTS数据迁移问题

关于DM里面的work配置我有一点疑惑,里面的dm_worker1和dm_worker2对应的是一个mysql数据库的主库和从库,还是说两个不同mysql数据库的主库? 文档上面没有说明,麻烦解答一下。

[dm_worker_servers]
dm_worker1 ansible_host=172.16.10.72 server_id=101 source_id="mysql-replica-01" mysql_host=172.16.10.81 mysql_user=root mysql_password='VjX8cEeTX+qcvZ3bPaO4h0C80pe/1aU=' mysql_port=3306
dm_worker2 ansible_host=172.16.10.73 server_id=102 source_id="mysql-replica-02" mysql_host=172.16.10.82 mysql_user=root mysql_password='VjX8cEeTX+qcvZ3bPaO4h0C80pe/1aU=' mysql_port=3306

这个问题,理解下 DM 的原理:https://pingcap.com/docs-cn/stable/reference/tools/data-migration/overview/#dm-架构