ticdc可以将变更日志保存到本地吗

【 TiDB 使用环境】测试
【 TiDB 版本】v7.1.2
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】

希望通过ticdc的变更日志实现类似于mysql binlog的功能,可以通过变更日志知道什么时间执行了什么sql。可以直接保存到本地,而不是通过kafka这类的中间件再保存吗

【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】

支持直接保存到存储服务 Amazon S3、GCS、Azure Blob Storage 以及 NFS。
https://docs.pingcap.com/zh/tidb/stable/ticdc-sink-to-cloud-storage

2 个赞

好的,我试一下

可以的,nfs s3对象存储

我试了下,每条sql都是一个文件,能不能按照时间顺序输出到一个文件呢

你看下文档可以按照库、表、日期分割

  • date-separator:将文件路径按照事务提交的日期进行分隔,默认值为 day,可选值如下:
    • none:不以 date-separator 分隔文件路径。例如:test.table1 版本号为 9999 的所有文件都存到 s3://bucket/bbb/ccc/test/table1/9999 路径下。
    • year:以事务提交的年份分隔文件路径。例如:s3://bucket/bbb/ccc/test/table1/9999/2022
    • month:以事务提交的年份和月份分隔文件路径。例如:s3://bucket/bbb/ccc/test/table1/9999/2022-01
    • day:以事务提交的年月日来分隔文件路径。例如:s3://bucket/bbb/ccc/test/table1/9999/2022-01-02
1 个赞

可以的

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。