tikv操作日志导出功能

我们的需求:

  1. 我们希望将我们所有的增删改操作 能通过mq导出到分析系统中做数据合并分析等操作

功能实现方式:

  1. 在我们的系统中通过kafka导出, 有可能丢数据, 或者与tikv上存储的不一致
  2. tikv或者pd 有没有notify功能, 能通过kafka导出我们想要的put,delete的op-log

ticdc 从 tikv 获取 kv changed log 并输出到 kafka 等下游,能否满足需求
https://docs.pingcap.com/zh/tidb/stable/ticdc-overview

多谢~!!!

我们是通过rawkv存储的数据, 这个不支持吧

是的,目前 TiCDC 还不支持使用 rawkv 的 TiKV 集群

请问 ticdc持久化方案是怎么设计的, 是否利用pd本身的持久化.
如果我们要做操作日志导出, pd能否提供某种接口可供我们使用

ticdc 之前实现了 cdc log 输出到外部磁盘或 S3 存储 https://github.com/pingcap/ticdc/issues/768 ,并结合 br 工具实现时间点恢复功能 PiTR ,该功能目前还未完全开发完成,可以先测试日志备份功能是否满足预期

帮我看一个新的帖子 ticdc的一些问题汇总 - 备份&数据迁移 - AskTUG

需求建议可以直接提到需求版本下,多谢。
image

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。