dm同步速度很慢,同步很长时间才追了几个版本,是tidb问题还是dm问题

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
【资源配置】
【附件:截图/日志/监控】

可以看看下游数据库的写入耗时,看看瓶颈是不是在tidb。或者看看
syncers: # sync 处理单元的运行配置参数
global: # 配置名称
worker-count: 16 # 应用已传输到本地的 binlog 的并发线程数量,默认值为 16。调整此参数不会影响上游拉取日志的并发,但会对下游产生显著压力。
batch: 100 # sync 迁移到下游数据库的一个事务批次 SQL 语句数,默认值为 100,建议一般不超过 500。
这几个参数,是否需要调整

写入耗时在哪里看?

image

如果dm 的资源充足,可以把worker-count 和batch 调大

6和100还不够用吗?还用很大吗?

贴一下dm的监控看看,先关注下Remaining time to sync和 Replication lag


我看的是这个,我不知道您说的那两项是什么

DM-Monitor-Professional、DM-Monitor-Standard这两个看板、独立的不是tidb集群的

需要部署吗?我这里只有一个部署集群配套的那个监控

dm部署文档如下:https://docs.pingcap.com/zh/tidb/stable/deploy-a-dm-cluster-using-tiup#第-2-步编辑初始化配置文件
这里面有grafana的配置;

不知道您说的是不是这个,反正我的是看不到您说的这些

都点开看看有没有我说的这种;你没写tidb版本;

慢的话。分析下:正在执行什么吧? 看下正在同步那些数据。

safe mode 关了,估计会快很多

关了的话我还有主键重复的问题,开这个就是为了插入的时候使用replcace into这种方案

方便发一下DM版本么?如果MySQL和TiDB数据一样,一般不会出现主键重复的问题。不过DM有几个版本不会同步truncate table语句,可能会出现duplicate key的错误

这个项目是我部署在客户op环境的,我现在没有权限,我管他们要下权限看下。现在有没有推荐的版本,就是现在部署的dm项目

后面dm版本要跟tidb版本一致,目前使用哪个版本?可以判断是不是带宽问题以及分析下tidb集群资源使用情况

如果新部署DM项目,最好是直接部署最新一个LTS版本的,也就是6.5版本的。
PS:DM版本可以和TiDB集群的版本完全不一样,它们之间没有依赖关系,DM的作用是解析binlog,生成标准SQL语句,没有限定特定TiDB版本