【 TiDB 使用环境】测试
【 TiDB 版本】v7.1.2
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
希望通过ticdc的变更日志实现类似于mysql binlog的功能,可以通过变更日志知道什么时间执行了什么sql。可以直接保存到本地,而不是通过kafka这类的中间件再保存吗
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】
【 TiDB 使用环境】测试
【 TiDB 版本】v7.1.2
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
希望通过ticdc的变更日志实现类似于mysql binlog的功能,可以通过变更日志知道什么时间执行了什么sql。可以直接保存到本地,而不是通过kafka这类的中间件再保存吗
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】
支持直接保存到存储服务 Amazon S3、GCS、Azure Blob Storage 以及 NFS。
https://docs.pingcap.com/zh/tidb/stable/ticdc-sink-to-cloud-storage
好的,我试一下
可以的,nfs s3对象存储
我试了下,每条sql都是一个文件,能不能按照时间顺序输出到一个文件呢
你看下文档可以按照库、表、日期分割
date-separator
:将文件路径按照事务提交的日期进行分隔,默认值为 day
,可选值如下:
none
:不以 date-separator
分隔文件路径。例如:test.table1
版本号为 9999
的所有文件都存到 s3://bucket/bbb/ccc/test/table1/9999
路径下。year
:以事务提交的年份分隔文件路径。例如:s3://bucket/bbb/ccc/test/table1/9999/2022
。month
:以事务提交的年份和月份分隔文件路径。例如:s3://bucket/bbb/ccc/test/table1/9999/2022-01
。day
:以事务提交的年月日来分隔文件路径。例如:s3://bucket/bbb/ccc/test/table1/9999/2022-01-02
。可以的
此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。