1.背景:
准备从6.5.3升级到8.5.1,采用新建集群迁移数据方式升级。
由于无法用BR,使用 Dumpling + Lightning(local) + CDC。
同步异常得库表平均5分钟更新一次,一次几十至上百万不等。该集群有将部份表通过cdc同步至kafka,包含频繁写得表,任务正常。
上下游cpu及内存磁盘均在正常范围内。
2.问题现象:
从6.5.3 cdc至 8.5.1集群时,cdc点位一直不推进,延迟越来越大,下游有数据进入。最长任务持续12小时未推进。
puller resolved 12.7K
puller kv 1.2k
Sorter 0
3.目前尝试得调整:
3.1有效果,但没有达到目标
将库表进行任务拆分,部分表任务还是卡住。
3.2无明细效果
per-table-memory-quota 调整至1G
sink worker-count 调整至 512
这有什么办法可以进一步排查吗?