TiCDC通过kafka的几个问题

1、kafka上层在使用一层代理,使用上就非常不友好了
2、kafka用户名密码认证,类似于MySQL的用户名和密码,不是ca认证

kafka://127.0.0.1:9092,127.0.0.1:9092,127.0.0.1:9092/cdc-test? 这样直接加是可以的

你是哪种认证方式 TLS还是SASL/PLAIN认证?

SASL/PLAIN认证方式

可以直接在连接字符串加 username和password 选择 sasl 尝试一下

能列个具体的连接示例吗?谢谢

–sink-uri=“kafka://127.0.0.1:9092,127.0.0.2:9092,127.0.0.3:9092/cdc-test?kafka-version=2.4.0&partition-num=6&max-message-bytes=67108864&replication-factor=1&saslEnable=true&username=xx&password=xx”

推测 具体需验证一下。

好的,非常感谢,我这边稍后测试一下,还有个问题咨询一下:

我这边如果协议类型选择protocol = default的话,default 为 TiCDC Open Protocol,同步到kafka的数据key和value会出现乱码,这是什么原因呢?
如下所示:

如果协议选择maxwell,同样key会出现乱码,但是value的数据是正常的

你可以服务器消费一下 看看是什么

ok 测试好了回复下是否可行

好的,我测试完了反馈一下

如果协议选择maxwell,同样key会出现乱码,但是value的数据是正常的

通过程序读取出来的key格式如下,value数据正常;

https://docs.pingcap.com/zh/tidb/stable/ticdc-open-protocol#消费端协议解析 你参考一下这个

请问下,你那边吧数据同步到开SASL/PLAIN认证方式安全的kafka 是怎么配置的?我按照讨论中的&saslEnable=true&username=xx&password=xx” 不行,5.4.1 版本

验证可行不,我也卡在访问开安全的kafka上了

参数 解析
sasl-user 连接下游 Kafka 实例所需的 SASL/SCRAM 验证的用户名(authcid)(可选)
sasl-password 连接下游 Kafka 实例所需的 SASL/SCRAM 验证的密码(可选)
sasl-mechanism 连接下游 Kafka 实例所需的 SASL/SCRAM 验证的名称(可选)

更多 kafka 配置见 TiCDC 运维操作及任务管理 | PingCAP Docs

能列个具体的连接示例吗?谢谢,我这边尝试了将这个三个参数拼接在uri 里面,没有效果

–sink-uri=“kafka://172.20.20.10:9092/tidb_test_test1?kafka-version=2.3.0&sasl-user=kafka&sasl-password=kafka&sasl-mechanism=GSSAPI” 这是我这边的连接串

按道理5.4版本应该是支持的,你那边具体的报错信息是啥?

5.4 版本的 TiCDC 还不支持的 GSSAPI,仅支持 SCRAM-SHA-256 和 SCRAM-SHA-512。
GSSAPI 从 6.1 版本开始支持,用法如下:

kafka://127.0.0.1:9092/abc?kafka-version=2.6.0&partition-num=0&sasl-user=user&sasl-password=password&sasl-mechanism=SCRAM-SHA-512",