ticdc是否可以指定时间范围创建changeed同步数据

🪐 TiDB 技术问题 备份&数据迁移
1

【问题】 业务需求有些时间范围内的历史数据处理的有问题，需要重新同步到kafka集群。

【TiDB 版本】 4.0.10

【附件】

  • 相关日志、配置文件、Grafana 监控（https://metricstool.pingcap.com/)
  • TiUP Cluster Display 信息
  • TiUP CLuster Edit config 信息
  • TiDB-Overview 监控
  • 对应模块的 Grafana 监控（如有 BR、TiDB-binlog、TiCDC 等）
  • 对应模块日志（包含问题前后 1 小时日志）

若提问为性能优化、故障排查类问题，请下载脚本运行。终端输出的打印结果，请务必全选并复制粘贴上传。

2

您说的是这两个参数么？

  • --start-ts ：指定 changefeed 的开始 TSO。TiCDC 集群将从这个 TSO 开始拉取数据。默认为当前时间。
  • --target-ts ：指定 changefeed 的目标 TSO。TiCDC 集群拉取数据直到这个 TSO 停止。默认为空，即 TiCDC 不会自动停止。
3

pd-ctl service-gc-safepoint --pd <pd-addrs> 查询当前的 GC safepoint，创建 changefeed 时需要确保指定时间 start-ts 在该 safepoint 之后

4

嗯，但是这个和gc safe point有关系，如果时间delay太多的话，就没办法用了。

5

这个问题遇到了，可恢复的时间范围受限于gc safe porint。

6

可以调大 gc safe point 保留更多历史数据，不过查询时可能读到这些数据对性能有一定影响