CDC创建成功，但是TSO 没变化不同步

舞动梦灵 · 2023 年9 月 26 日 10:05

源端4.0.2版本tidb，cdc。目标端5.0.0版本tidb
任务创建成功，但是查看指定的tso一直没有变化
创建cdc：

查询任务：

这个任务job显示是任务进行中。到那时tso没有任何变化
CDC日志：

Billmay表妹 · 2023 年9 月 26 日 10:21

你的 gc 时间设置了多久？

Billmay表妹 · 2023 年9 月 26 日 10:22

请问下这个你需要同步的库里面有多少张表？

舞动梦灵 · 2023 年9 月 26 日 10:23

源端设置了720h呢
我是从源端BR备份恢复过来的。测试环境，所以这期间几乎没有任何数据。有10张表。没有做任何过滤。同步所有的

舞动梦灵 · 2023 年9 月 26 日 10:29

2分钟没变化了。

Fly-bird · 2023 年9 月 26 日 10:54

上游有数据变动嘛，停掉cdc任务重新建个任务试试呢

舞动梦灵 · 2023 年9 月 26 日 11:35

已经remover删除，然后重建一遍了。还是这样。日志一直提示：
[2023/09/26 18:39:32.840 +08:00] [WARN] [pd.go:109] [“get timestamp too slow”] [“cost time”=33.277955ms]
[2023/09/26 19:00:02.437 +08:00] [WARN] [pd.go:109] [“get timestamp too slow”] [“cost time”=40.100595ms]
[2023/09/26 19:00:06.577 +08:00] [WARN] [pd.go:109] [“get timestamp too slow”] [“cost time”=152.972321ms]
[2023/09/26 19:00:06.587 +08:00] [WARN] [pd.go:109] [“get timestamp too slow”] [“cost time”=84.737071ms]
[2023/09/26 19:00:06.866 +08:00] [WARN] [pd.go:109] [“get timestamp too slow”] [“cost time”=266.915521ms]
[2023/09/26 19:00:06.872 +08:00] [WARN] [pd.go:109] [“get timestamp too slow”] [“cost time”=205.5529ms]
[2023/09/26 19:00:06.872 +08:00] [WARN] [pd.go:109] [“get timestamp too slow”] [“cost time”=65.919414ms]
[2023/09/26 19:00:06.872 +08:00] [WARN] [pd.go:109] [“get timestamp too slow”] [“cost time”=52.121604ms]
[2023/09/26 19:00:07.073 +08:00] [WARN] [pd.go:109] [“get timestamp too slow”] [“cost time”=98.202912ms]
[2023/09/26 19:00:07.330 +08:00] [WARN] [pd.go:109] [“get timestamp too slow”] [“cost time”=308.268864ms]
[2023/09/26 19:00:07.331 +08:00] [WARN] [pd.go:109] [“get timestamp too slow”] [“cost time”=205.100336ms]
[2023/09/26 19:00:07.331 +08:00] [WARN] [pd.go:109] [“get timestamp too slow”] [“cost time”=39.295962ms]
[2023/09/26 19:00:07.331 +08:00] [WARN] [pd.go:109] [“get timestamp too slow”] [“cost time”=64.511015ms]
[2023/09/26 19:00:07.331 +08:00] [WARN] [pd.go:109] [“get timestamp too slow”] [“cost time”=185.150581ms]
[2023/09/26 19:24:42.064 +08:00] [WARN] [pd.go:109] [“get timestamp too slow”] [“cost time”=41.583631ms]

舞动梦灵 · 2023 年9 月 27 日 02:20

有人吗？？？帮忙看看哟~~~顶一下，我顶~我顶~~我顶顶顶。

像风一样的男子 · 2023 年9 月 27 日 02:24

有个kv ip 是134的连接拒绝了，看下这个kv的状态

舞动梦灵 · 2023 年9 月 27 日 02:30

那个是刚开始的报错，我看了发现是虚拟机提示OOM一直kill。我就吧3个kv全部增加内存。然后重启了一遍。没有这个连接拒绝的报错了。

像风一样的男子 · 2023 年9 月 27 日 02:32

cdc cli changefeed list --pd=ip:6379 看下任务状态正常吗如果正常就等。

舞动梦灵 · 2023 年9 月 27 日 02:35

正常的这是4.0.2版本的。所以他只输出一个ID值，没有状态提示。只能用这个： tiup cdc:v4.0.2 cli changefeed query -s --pd=http://192.168.81.132:2379 --changefeed-id=e1b66543-4d9d-41c2-85b0-fb4d83fe42f4
查看结果就是提示正常，但是resolved-ts是发送到目标端的值一直是0

像风一样的男子 · 2023 年9 月 27 日 02:38

cdc是在4.0.6才开始成为正式功能的，之前的都是试用，建议升级tidb版本吧。

舞动梦灵 · 2023 年9 月 27 日 02:43

恩测试环境我升级一下试试看看

舞动梦灵 · 2023 年9 月 27 日 10:27

升级版本4.0.2到4.0.9.自动同步了。

ajin0514 · 2023 年10 月 1 日 23:28

升级版本试试

舞动梦灵 · 2023 年10 月 7 日 08:31

找到问题了这个参数问题 --sort-engine=“unified”
4.0.9以下版本不能使用unified这个参数，默认使用memory，手动指定unified。他后台日志报错说未识别参数unified

路在何chu · 2023 年10 月 7 日 08:34

还是用比较新的版本吧，老版本问题确实多

system · 2023 年12 月 6 日 08:35

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。