TiDB 的 CDC 事件的key和value的规则是什么?能否通过scan或者get方法直接获取到并二次消费

有个技术问题想要咨询,TiDB的cdc事件的key 和 value的规则是什么?如何解析和加密这个key和value?能否通过tikv 的 scan或者get直接获取到?内部的实现原理是什么?

等 8.0 吧,会集成和 flink 类似的核心能力,支持订阅

原理可以看: https://docs.pingcap.com/zh/tidb/stable/ticdc-overview#ticdc-架构
-----
其实现在TiCDC的sink端已经支持很多类型了,基本上遇到的场景都能通过到MySQL/kafka/Storage解决。实在不行,还可以自己写golang程序来消费,具体可以见官方给的例子: https://github.com/pingcap/tiflow/blob/release-7.5/cmd/storage-consumer/main.go,成熟度也很高了。

现在不能通过tikv-clent-java 获取cdc事件吗

只能通过 CDC 的 Sink 接口获取,目前没其他方案

二次消费也可以考虑多个CDC试试

8.0版本,今年还是明年才出来

看计划是今年下半年…

解析和加密可以通过 TiDB 提供的相关接口来实现,不建议直接操作 TiKV 数据

现在是不能。