- 【TiDB 版本】：3.0.12
- 【问题描述】：DM同步速度非常慢，延迟达到好几个小时，主库的写入压力并不是非常大，麻烦看一下是不是task参数文件有问题
另外我打开监控之后，replicate lag显示有问题
1 个赞
- 请将完整的DM监控上传， 请上传dm-worker日志，位置在部署dm-worker的目录查找dm
-worker.log, 请参考下文执行query-status命令，查看当前的状态.
https://pingcap.com/docs-cn/tidb-data-migration/stable/manage-replication-tasks/#查询数据同步任务状态
2. 这个时间先忽略，没有影响，多谢.
您好：
1. 从监控看下游同步是很慢
2. 请上传下游tidb的监控overview，tidb ，detail-tikv 监控，多谢
(1)、chrome 安装这个插件https://chrome.google.com/webstore/detail/full-page-screen-capture/fdpohaocaechififmbbbbbknoalclacl
(2)、鼠标焦点置于 Dashboard 上，按 ?可显示所有快捷键，先按 d 再按 E 可将所有 Rows 的 Panels 打开，需等待一段时间待页面加载完成。
(3)、使用这个 full-page-screen-capture 插件进行截屏保存(1)、chrome 安装这个插件https://chrome.google.com/webstore/detail/full-page-screen-capture/fdpohaocaechififmbbbbbknoalclacl
(2)、鼠标焦点置于 Dashboard 上，按 ?可显示所有快捷键，先按 d 再按 E 可将所有 Rows 的 Panels 打开，需等待一段时间待页面加载完成。
(3)、使用这个 full-page-screen-capture 插件进行截屏保存
您好：
1. 从下游tidb监控查看，duration不高，不过监控的时间和DM重合的只有大概几分钟.
2. 麻烦查看一下，query-status，是否还在这个位点，看你的监控，有时快，有时慢. 有很大的宽表的写入.
-
从你的截图看，虽然配置了DM的并发，但是当前只有一个进程在同步数据？ 还是说当前已经追上了，同步的数据量就是很少？ 如果还是没有追上，请确认下，这个表dw_cus_change的表结构上传下，多谢。 大量的同步都是这个表吗？ 或者有哪个表同步的很多，这个表有没有主键或者唯一键？
-
之前的监控时间不是很一致，能否发一份一个小时的 DM 和TiDB相同时间段，同步慢时的监控信息，多谢。
1.是的，虽然配置了DM的并发，但是永远只能看到一个进程在同步数据，现在还在追昨天的日志。从昨天观察的结果看，不都是dw_cus_change。我看了下上游的库，有很多表没有主键和唯一键。这个表表结构是这样的
CREATE TABLE dw_cus_change (
cusId int(11) DEFAULT NULL COMMENT ‘客户主数据ID’,
cou decimal(42,0) DEFAULT NULL COMMENT ‘交易次数’,
amount double DEFAULT NULL COMMENT ‘交易金额’,
paytype varchar(255) DEFAULT NULL COMMENT ‘付款方式’,
productType2 varchar(40) DEFAULT NULL COMMENT ‘二级产品类型’,
productType3 varchar(40) DEFAULT NULL COMMENT ‘三级产品类型’,
productId varchar(40) DEFAULT NULL,
productType4 varchar(40) DEFAULT NULL,
KEY cusId (cusId),
KEY productType4 (productType4)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;
监控图稍等我重新截一下
您好：
1. 这个表没有主键或者唯一索引，导致DM无法并发同步。 原因是需要根据这些信息来判断，前后几行数据间是否有依赖关系，没有依赖关系才能并发同步。 因此建议能否修改表，创建唯一索引.
2. 从监控看，上下游的网络似乎也不是很好，请检查网络是否正常好的，感谢，我把这些表都加上主键或者唯一索引再试一下
好的，有问题再联系，多谢
此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。