ticdc 同步到kafak binary类型是乱码

【 TiDB 使用环境】生产\测试环境\ POC
【 TiDB 版本】5.3.1
【遇到的问题】
hash值以binary(32)存在数据库,ticdc同步到kafka时,canal-json格式,此条消息是乱码。
【复现路径】做过哪些操作出现的问题
【问题现象及影响】


数据库显示

【附件】

  • 相关日志、配置文件、Grafana 监控(https://metricstool.pingcap.com/)
  • TiUP Cluster Display 信息
  • TiUP CLuster Edit config 信息
  • TiDB-Overview 监控
  • 对应模块的 Grafana 监控(如有 BR、TiDB-binlog、TiCDC 等)
  • 对应模块日志(包含问题前后 1 小时日志)

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

这不是乱码,应该是被转义过了的

看你提供的 日志 :repo_id 也是这样的,你可以反向转义试试

https://docs.pingcap.com/zh/tidb/stable/ticdc-open-protocol#event-流的输出示例

:+1::+1::+1:

也学习了一下

貌似不是这个,我用的canal-json协议。反转义不太行

已知问题,参考 https://github.com/pingcap/tiflow/issues/7058
可以升级到 5.4.1 测一下。

相关 PR

canal-json decoder 参考实现:
tiflow/canal_json_decoder.go at master · pingcap/tiflow (github.com)