drainer同步kafka问题

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:v3.0.9
  • 【问题描述】:drainer同步kafka问题,同步一段时间后,由于kafka配置原因,有条事务无法同步,想忽略当前同步失败的tso,如何做?

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

尝试修改 drainer的savepoint无效,重启drainer无效,从kafka同步报错的bytes来看,还是在同步这条tso

  1. 尝试忽略

  2. 如果要调整 check point 注意kafka文件

  1. 参考的文档

https://pingcap.com/docs-cn/v3.0/tidb-binlog/tidb-binlog-faq/

一共有两个drainer,一个file drainer和一个kafka drainer , 想问一下,两个drainer的savepoint有没有关系,理论上是一致的吗

不同的drainer是没有影响的,只是说理论上可以追到同样最新的postion位点。 数据在相同位点是一样的,但是互相不会影响。