【 TiDB 使用环境】生产环境
【版本】v7.5.1
【问题描述】
- 数据的生产流程重度依赖cdc,一个实例有400多张表，每个表都会加入cdc同步数据到kafka，单表的数据一般都会超过1亿，多的达到几十亿，数据量单副本10T左右，使用过程中发现如下问题：
- 一般我会把大表单独一个任务，同一个业务域的表放到一个任务中，但是当数据变更很大时，QPS很高时，延迟比较严重，有的时候会影响所有的任务（所有任务的checkpoint都不往前走）
- 我希望当发现某一些表的QPS很高的时候，能够手动指定在哪一台CDC节点上跑，物理上隔离，这样及时这个任务挂了，也不会对其他任务产生影响，这个现在有没有方法实现
- 当发现一个任务发生故障，停止了，恢复这个任务，发现某一个cdc节点的磁盘不断发生写，最高的时候达到500G，所有的任务都停止，过了10个小时左右，停止的任务很快追到了当前时间，这个是什么原因
- canal-json协议只能单行发，效率比较低