key-value (KV) change log是raft log吗

🪐 TiDB 技术问题 备份&数据迁移
1

【 TiDB 使用环境】生产\测试环境\ POC
测试

【 TiDB 版本】
6.1

【遇到的问题】
cdc官网文档如下
https://docs.pingcap.com/zh/tidb/stable/ticdc-overview#ticdc-简介
想问下，key-value (KV) change log是从哪里获取的？是从raft log里获取的吗？
如果是的话，如果gc的时间是24小时，那么是不是意味着raft log也得保留24个小时？
谢谢

【复现路径】做过哪些操作出现的问题
【问题现象及影响】
【附件】

  • 相关日志、配置文件、Grafana 监控（https://metricstool.pingcap.com/)
  • TiUP Cluster Display 信息
  • TiUP CLuster Edit config 信息
  • TiDB-Overview 监控
  • 对应模块的 Grafana 监控（如有 BR、TiDB-binlog、TiCDC 等）
  • 对应模块日志（包含问题前后 1 小时日志）

若提问为性能优化、故障排查类问题，请下载脚本运行。终端输出的打印结果，请务必全选并复制粘贴上传。

2

可以参考下，官方的一个描述
相当于 tidb 的 GC 能力和配置，ticdc 也有相应的 保活能力

TiCDC 为 service GC safepoint 设置的存活有效期为 24 小时，
即 TiCDC 服务中断 24 小时内恢复能保证数据不因 GC 而丢失。

https://docs.pingcap.com/zh/tidb/stable/troubleshoot-ticdc#ticdc-gc-safepoint-的完整行为是什么

raft log 也会 append 到 rocksdb ，tikv 是拥有双 rocksdb 的一个方式，将 kv 和raft log 进行了分离
raft log 的保留是另外一套机制了

3

ticdc涉及的kv change log不是raft log。这里的kv change log是TiKV 提供的隐藏大部分内部实现细节的的 row changed event。

这个是以region为单位进行的。

4

请问这些kv change log存储在了哪里？也是rocksdb吗

5

看看这个帖子对你有没有帮助

6

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。