tidb cdc redo 到腾讯云cos

HGHNICE · 2025 年4 月 7 日 11:34

【 TiDB 使用环境】生产环境

当前的配置文件

[consistent]
# 开启最终一致性（eventual），此模式下 TiCDC 会启用 redo 日志来保证数据恢复
level = "eventual"
# 单个 redo log 文件的最大大小（单位 MiB），建议值不超过 128
max-log-size = 1
# 刷新或上传 redo log 至存储系统的间隔（单位毫秒），建议在 500-2000 毫秒之间
flush-interval = 2000
# 指定 redo log 的存储位置，这里使用腾讯云 COS，
# 存储路径为 redo-bak 目录，其他参数需要根据你的腾讯云 COS 账号和部署情况填写
storage = "s3://test/redo?access-key=xxx&secret-access-key=xxx&region=ap-guangzhou&endpoint=http://bak.cos.ap-guangzhou.myqcloud.com&provider=tencent&force-path-style=true"

大家有实践过吗目前我使用这个启动任务推进了。但是在cos为找到redo文件寻求解决方式

Daniel-W · 2025 年4 月 7 日 12:38

[consistent]
level = “eventual”
max-log-size = 64
flush-interval = 2000
storage = “xxx/redo_log?access-key=xxx&secret-access-key=xxx&endpoint=xxx&force-path-style=true”

Daniel-W · 2025 年4 月 7 日 12:40

上游要有增量数据才会有redo log产生吧

HGHNICE · 2025 年4 月 8 日 02:12

我这边一直刷数据也没产生对应的log到cos 也是提示正常启动了 checkpoint点也在推进的大佬怎么解决呀

乡在人间 · 2025 年4 月 8 日 02:23

尝试将redo文件设置其它常规路径，能找到对应的redo文件嘛？

Daniel-W · 2025 年4 月 8 日 02:53

cos上是什么文件都没有吗？meta文件有没有？

HGHNICE · 2025 年4 月 8 日 02:56

就是什么文件都有我发现如果不加region那些参数根本应用不成功然后我随便改个地址也没生效的但是加了别的参数如region 这个url就失效了因为我填写一个不存在的桶也可以应用

如果按照文档写的参数那就不能访问cos桶很疑惑现在

HGHNICE · 2025 年4 月 8 日 02:58

不能出现哦

Daniel-W · 2025 年4 月 8 日 03:02

我的集群是6.5的，我用配置是我发你的这个。我用的也是腾讯的cos
你看看刚创建changefeed cdc日志中检索s3看相关日志有没有这样的关键字？
[“succeed to get bucket region from s3”]

Daniel-W · 2025 年4 月 8 日 03:08

你这个provider配置是在哪看到的？我在官档上没搜到

HGHNICE · 2025 年4 月 8 日 03:10

我之前使用br备份发现加上provide可以我就摘抄过来了

HGHNICE · 2025 年4 月 8 日 03:12

storage = “s3://test/redo_log_test?access-key=xxxx&secret-access-key=xxxx&endpoint=http://xxxx.myqcloud.com&force-path-style=true”

这样写会报错

Error: [CDC:ErrChangefeedUnretryable]changefeed is in unretryable state, please check the error message, and you should manually handle it%!(EXTRA *errors.withStack=[DFLOW:ErrFailToCreateExternalStorage]failed to create external storage%!(EXTRA string=creating ExternalStorage for s3): failed to get region of bucket test: NotFound: Not Found

HGHNICE · 2025 年4 月 8 日 03:13

storage = "s3://test/redo_log_test?access-key=xxxx&secret-access-key=xxxx&endpoint=http://xxxx.myqcloud.com&region=ap-guangzhou&provider=tencent&force-path-style=true"

这样写就可以应用

HGHNICE · 2025 年4 月 8 日 03:14

HGHNICE · 2025 年4 月 8 日 03:15

然后是咋样才会生成redolog文件我设置为1mb 我手动刷了1mb的消息也没有看见生成

HGHNICE · 2025 年4 月 8 日 03:20

创建会这样报错如果我重启cdc节点就能推进但是执行dml语句也没生成log文件

Daniel-W · 2025 年4 月 8 日 03:20

我刚试了下，创建changefeed后就会有meta文件往cos上写，同时日志有"redo: meta manager flush init meta success"关键字。
meta文件长这样

Daniel-W · 2025 年4 月 8 日 03:21

你下游是什么？

HGHNICE · 2025 年4 月 8 日 03:24

我测试使用的下游是 pulsar消息队列打算测试好后用来执行主备集群的cdc同步

HGHNICE · 2025 年4 月 8 日 03:25

你成功测试的这个下游是啥呀