cdc 同步binlog 到kafka，消费出的数据乱码

ec_tom · 2020 年10 月 22 日 03:49

为提高效率，提问时请提供以下信息，问题描述清晰可优先响应。

执行sql：

kafka消费端：

收到的消息格式有点看不懂，乱码的数据并不是客户端穿过去的

ec_tom · 2020 年10 月 22 日 03:52

查看同步任务列表：

集群架构：

来了老弟 · 2020 年10 月 22 日 04:02

你好，

从其他途径写入 kafka 数据也是这样的吗？

tidb 写入 kafka 辛苦将其消费到下游看下是否是乱码

看了下 cdc 的 messagr ，辛苦检查下 kafka 集群的状态？

可以上传下 kafka log 看下

ec_tom · 2020 年10 月 22 日 06:19

其他端直接订阅消费没有乱码的问题。kafka集群状态是没有问题的

zhangxuecheng · 2020 年10 月 22 日 06:44

请问

ec_tom · 2020 年10 月 22 日 08:03

1：message 还有提示kafka 集群问题，之前没有提示，没提示也有乱码问题；

2：cdc.log 日志
cdc_stderr.log (6.2 KB)
cdc (2).log (80.5 KB)

3：kafka集群信息

ec_tom · 2020 年10 月 22 日 08:13

其他途径读写 Kafka 是默认的协议，不是canal

ec_tom · 2020 年10 月 22 日 08:36

我现在换了一个changefeed-id，changefeed list 里 message 没有信息了。还是一样的问题。如下：

创建同步任务和查看同步任务列表如图：

生产端：

kafka消费端：还是一样的有问题

zhangxuecheng · 2020 年10 月 22 日 08:38

TiCDC 是以 Canal 格式输出到 Kafka 的，因此从 Kafka 消费时也需要基于 Canal 来解析.

ec_tom · 2020 年10 月 28 日 02:10

有Kafka 消费时基于 Canal 来解析的文档或案例吗？

zhangxuecheng · 2020 年10 月 28 日 02:29

上面给的 Canal 的链接（https://github.com/alibaba/canal/tree/canal-1.1.4 ）里有相关资料