有个技术问题想要咨询,TiDB的cdc事件的key 和 value的规则是什么?如何解析和加密这个key和value?能否通过tikv 的 scan或者get直接获取到?内部的实现原理是什么?
等 8.0 吧,会集成和 flink 类似的核心能力,支持订阅
原理可以看: https://docs.pingcap.com/zh/tidb/stable/ticdc-overview#ticdc-架构
-----
其实现在TiCDC的sink端已经支持很多类型了,基本上遇到的场景都能通过到MySQL/kafka/Storage解决。实在不行,还可以自己写golang程序来消费,具体可以见官方给的例子: https://github.com/pingcap/tiflow/blob/release-7.5/cmd/storage-consumer/main.go,成熟度也很高了。
现在不能通过tikv-clent-java 获取cdc事件吗
只能通过 CDC 的 Sink 接口获取,目前没其他方案
二次消费也可以考虑多个CDC试试
8.0版本,今年还是明年才出来
看计划是今年下半年…
解析和加密可以通过 TiDB 提供的相关接口来实现,不建议直接操作 TiKV 数据
现在是不能。