ticdc 测试时发现无法向 kafka 发送数据

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】
版本是 v7.1.5,做测试时,发现2张表,一张表的变更数据可以在下游 kafka 查到相应数据,另一张表的变更数据无法在下游查到,两个表的表结构为
show create table mwk5\G
*************************** 1. row ***************************
Table: mwk5
Create Table: CREATE TABLE mwk5 (
id int(11) NOT NULL,
name varchar(20) DEFAULT NULL,
age tinyint(4) DEFAULT NULL,
PRIMARY KEY (id) /*T![clustered_index] CLUSTERED */
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin

show create table mwk7\G
*************************** 1. row ***************************
Table: mwk7
Create Table: CREATE TABLE mwk7 (
id bigint(20) NOT NULL AUTO_INCREMENT,
name varchar(20) DEFAULT NULL,
age int(11) DEFAULT NULL,
PRIMARY KEY (id) /*T![clustered_index] CLUSTERED */
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin AUTO_INCREMENT=2145850
1 row in set (0.00 sec)

表现为 mwk5 表的插入可以在 kafka 查询到



mwk7 表的插入无法被查询到

创建 changefeed 的命令为 cdc cli changefeed create --server=http://xxx:xxx --sink-uri=“kafka://xxxx/mwk?protocol=canal&kafka-version=2.4.0&partition-num=5&max-message-bytes=67108864&replication-factor=3” --changefeed-id=“mwk-test”

因为之前 drainer 的协议用的是 canal ,所以没有用 canal-json 协议

没有指定 config,都是用的是默认配置么?

是的,都是默认配置

cdc 的日志有报错吗?

没有报错

看起来两张表只有 AUTO_INCREMENT 的区别,按理说这个不影响数据同步呢

再多建两张表呢? 试试是只能同步一张表,还是只有一张表同步不了

6和7 都不行, 12345 都没问题

第二张表试试,insert into mk7 的自增值大于当前最大id

只有7不行 ,其他都 ok

试了 也是查不到

kafka GUI 工具的问题,用命令行工具可以查询到数据

使用的是IBM的CDC吗

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。