cdc同步中断

【 TiDB 使用环境`】生产
【 TiDB 版本】v4.0.9
【遇到的问题】cdc同步一段时间之后中断
【复现路径】重新恢复任务
【问题现象及影响】
cdc同步一段时间之后中断了。报其中一个节点连接失败。下游也是ticdc,
CDC:ErrProcessorUnknown
[
{
“id”: “cdc-replica-task”,
“summary”: {
“state”: “stopped”,
“tso”: 433096939742167046,
“checkpoint”: “2022-05-10 06:01:51.785”,
“error”: {
“addr”: “172.16.0.57:8300”,
“code”: “CDC:ErrProcessorUnknown”,
“message”: “[CDC:ErrMySQLTxnError]invalid connection”
}
}
}
]

可以看到报错的节点是172.16.0.57:8300,在这个节点中可以看到报错
[ERROR] [server.go:120] [“run server”] [error=“[CDC:ErrMySQLConnectionError]driver: bad connection
github.com/pingcap/errors.AddStack
\tgithub.com/pingcap/errors@v0.11.5-0.20201029093017-5a7df2af2ac7/errors.go:174
github.com/pingcap/errors.(*Error).GenWithStackByCause
\tgithub.com/pingcap/errors@v0.11.5-0.20201029093017-5a7df2af2ac7/normalize.go:279
github.com/pingcap/ticdc/pkg/errors.WrapError
\tgithub.com/pingcap/ticdc@/pkg/errors/helper.go:28
github.com/pingcap/ticdc/cdc/sink.(*mysqlSink).Close
\tgithub.com/pingcap/ticdc@/cdc/sink/mysql.go:766
github.com/pingcap/ticdc/cdc.(*processor).stop
\tgithub.com/pingcap/ticdc@/cdc/processor.go:1213
github.com/pingcap/ticdc/cdc.(*Capture).handleTaskEvent
\tgithub.com/pingcap/ticdc@/cdc/capture.go:231
github.com/pingcap/ticdc/cdc.(*Capture).Run
\tgithub.com/pingcap/ticdc@/cdc/capture.go:175
github.com/pingcap/ticdc/cdc.(*Server).run.func2
\tgithub.com/pingcap/ticdc@/cdc/server.go:338
golang.org/x/sync/errgroup.(*Group).Go.func1
\tgolang.org/x/sync@v0.0.0-20200625203802-6e8e738ad208/errgroup/errgroup.go:57
runtime.goexit
\truntime/asm_amd64.s:1357”]

cdc.log (81.2 MB)

把sink的连接串和cdc task的配置文件发下。

tiup cdc cli changefeed create --pd=http://172.16.0.144:2379 --sink-uri=“tidb:/xxx:xxx@xxx.xxx.xxx.xxx:4000/” --start-ts=433083425052426287 --changefeed-id=“cdc-replica-task”

没有设置配置文件。刚开始同步都是正常的,同步了一个晚上,今天早上看就异常了。报节点连接异常。我恢复了一次,然后又报另一个节点连接异常,然后我又恢复了一次,现在是正常的,我发现3个cdc节点就一个节点可以同步。但是昨天晚上同步好好的,为什么突然出现连接异常。

1) cdc集群节点都下游tidb-serve的网络是否可以连通?
2)有没有弱网环境?比如超时之类的?

Telnet 下游tidb server 端口是通的。今天又出现了,然后在监控上uptime看到,在7.03分的时候,重启了。
image

那就是下游tidb-server有重启现象。跟cdc没有多大的关系

好的,谢谢,我再检查观察一下。

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。