Tidb cdc 单表任务，没有更新到rowchange事件

shuyingzhong · 2020 年11 月 16 日 07:40

任务我刚刚remove掉了，这个是之前启动到查看的命令

YilinZhao-PingCAP · 2020 年11 月 16 日 07:42

麻烦按照这个步骤导出一下监控

YilinZhao-PingCAP · 2020 年11 月 16 日 07:43

这张图里面执行的是 processor list 不是 changefeed list哈。changefeed list 可以比较方便的检查 changefeed 的状态，是否有报错之类

shuyingzhong · 2020 年11 月 16 日 07:43

好的。我重新开启任务试一下，稍等

YilinZhao-PingCAP · 2020 年11 月 16 日 07:45

你发的这张监控中，在红箭头位置 checkpoint 停了，这意味着 changefeed 已经停滞了。我们首先要搞清楚这里停下的原因

shuyingzhong · 2020 年11 月 16 日 07:47

好的，我这边新建了一个任务

shuyingzhong · 2020 年11 月 16 日 07:50

但是同样收不到事件，cdc.log (9.9 MB) cdc_stderr.log (29.2 KB)
cdc和cdc error日志

shuyingzhong · 2020 年11 月 16 日 07:55

tidb-test-CDC_2020-11-16T07_54_43.202Z.json (1.0 MB)
如果还需要提供别的请告诉我，这个问题困扰我有段时间了，谢谢

YilinZhao-PingCAP · 2020 年11 月 16 日 07:59

麻烦执行 cdc cli changefeed list --pd=xx

YilinZhao-PingCAP · 2020 年11 月 16 日 08:01

是完全收不到 row changed event 事件呢？还是少事件呢？

YilinZhao-PingCAP · 2020 年11 月 16 日 08:01

从监控上看是有少量的 row changed 事件发出来的

shuyingzhong · 2020 年11 月 16 日 08:02

shuyingzhong · 2020 年11 月 16 日 08:03

c516f859-cba4-41af-8b62-c21ccaed4872 这个任务目前是一个没有收到
807dc529-e39f-4068-8f7b-a46f989c08d6 收到几个delete事件

shuyingzhong · 2020 年11 月 16 日 08:07

刚才又改了几条完全收不到

YilinZhao-PingCAP · 2020 年11 月 16 日 08:07

从监控看你有3个cdc节点对吗，麻烦发一下这三个节点的日志

shuyingzhong · 2020 年11 月 16 日 08:11

cdc.7z (444.5 KB)
3个节点的

YilinZhao-PingCAP · 2020 年11 月 16 日 08:18

请问你是如何判断数据没收到的呢？是否方便用kafka 官方的 consumer 读一下对应的topic呢？详见：https://kafka.apache.org/quickstart#quickstart_consume

YilinZhao-PingCAP · 2020 年11 月 16 日 08:19

从日志上看，c516f859-cba4-41af-8b62-c21ccaed4872 这个 changefeed 状态正常，并且确实往下游发数据了。

shuyingzhong · 2020 年11 月 16 日 08:21

我目前使用的是自己的kafka，判断数据是否收到的依据是，我现在一直正常收到eventResovle事件

shuyingzhong · 2020 年11 月 16 日 08:23

我这边kafka一直有收到数据的，应该是对的