DM因为经常DDL异常后rollback checkpoint,内存飙高,然后挂掉

各位大佬好
【概述】场景+问题概述
DM因为经常DDL异常后rollback checkpoint
【背景】做过哪些操作
脚本处理了DDL异常的情况,并跳过异常
【现象】业务和数据库现象
发现加压过久后,内存飙高,worker挂掉
【业务影响】
内存不够,worker挂掉
【TiDB 版本】
TIDB:5.1.0 DM:release-2.0

顺便问个问题,tidb 已经发布5.1.0版本,DM会发布新版本吗?什么时候发?因为tidb 5.1.0修复了我们比较关注的表名字段名中文超长问题和字段类型变更。

1 个赞

发现加压过久是个什么描述?

预期的承载量和给定的资源是否匹配? 不匹配是不是需要考虑换个方案更稳妥?

因为经常有ALTER TABLE,修改字段类型,例如TEXT 更改为DECIMAL(22,5)
每次ALTER TABLE就会进入到rollback checkpoint阶段,而rollback checkpoint阶段大概10分钟,有2W5张表,syncer_checkpoint有2773条数据。
是否是因为rollback checkpoint阶段占用太多内存?master和worker节点应该分配多少内存呢?

DM 2.0.4 已经发布了,可以看下官网的 release note

软硬件要求参考下 https://docs.pingcap.com/zh/tidb-data-migration/stable/hardware-and-software-requirements