binlog写入Kafka，获取到的message有乱码的问题

🪐 TiDB 技术问题 备份&数据迁移
1

kafka%E4%B9%B1%E7%A0%81
TIDB写入kafka，消费kafka消息如图，有部分可识别，但有一部分乱码。
请问下这是写入时的问题？还是读取消息时还需要对properties进行什么设置（设置过encoding，未见效果）

2

参考下这个帖子呢

3

解决方案中github的地址已是404

4

image
image1768×1312 209 KB

image
image1712×1012 124 KB

5

这篇我已经阅读过了，但和我这边的问题有点出入，并没有解决乱码的问题。

6

换成 ByteArrayDeserializer 而不是String 试试，参考 Java解析drainer发送到kafka中的binlog异常

—这个试试？

7

已解决，参看文档https://github.com/pingcap/tidb-tools/tree/master/tidb-binlog/driver/example/kafkaReader的方案，并修改kafka数据序列化的格式即可。kafka-tools中获取到的二进制数据是正确的，乱码为正常情况。需要通过binlog.proto进行特殊处理转换为可用的BinLogInfo.Binlog类。

8

:+1::+1::+1:

9

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。