binlog 同步kafka没有时间戳字段？

🪐 TiDB 技术问题 备份&数据迁移
1

为提高效率，提问时请提供以下信息，问题描述清晰可优先响应。

  • 【TiDB 版本】：5.7.25-TiDB-v4.0.3
  • 【问题描述】：在搞binlog 同步(drainer写kafka时)发现binlog消息没有事件发生的时间戳字段，只有commit_ts(kafka offset)，如果想计算延迟，比如从tidb到下游(比如redis)的从写入kafka到消费kafka时间消耗，这个怎么解决？
2

可以通过 commit_ts 解析成对应时间来和当前时间做对比。

3

这个有对应的解析code或文档吗？我学习下

4

https://github.com/tikv/pd/blob/master/pkg/tsoutil/tso.go

这个是 PD 里面的 tso 的编解码代码，然后通过 commit_ts 解析成时间来对比延迟情况。

5

谢谢大佬

6

客气了 ～ 如果有你的问题，麻烦你创建新的帖子。另外我建议你考虑一下 TiCDC 同步，后面我们会通过 TiCDC + BR 方式实现一个全量/增量的数据备份和数据恢复。

https://docs.pingcap.com/zh/tidb/dev/ticdc-overview

7

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。