消息无法发送到kafka

【TiDB 使用环境】测试环境
【TiDB 版本】8.1.0
【操作系统】centos
【部署方式】机器部署(32G内存,)
【集群数据量】
【集群节点数】
【问题复现路径】同步变更数据到kafka,新增列过滤column-selectors配置
【遇到的问题:问题现象及影响】 消息无法发送到kafka
1、配置信息


2、报错信息

3、表信息,很简单,没有null字段

表结构也发一下?

原先没有列过滤column-selectors配置,正常嘛?

1 个赞

SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;


– Table structure for bd_subtype


DROP TABLE IF EXISTS bd_subtype;
CREATE TABLE bd_subtype (
id bigint(20) NOT NULL COMMENT ‘ID’,
sub_type_code varchar(10) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT ‘标的类型编号’,
sub_type_name varchar(256) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT ‘标的类型名称’,
sub_type_desc varchar(1024) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT ‘标的类型描述’,
sub_type_order tinyint(4) NOT NULL COMMENT ‘标的类型排序’,
creator varchar(128) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT ‘创建人’,
create_time datetime NULL DEFAULT NULL COMMENT ‘创建时间’,
last_modifier varchar(128) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT ‘最后修改人’,
last_modified_time datetime NULL DEFAULT NULL COMMENT ‘最后修改时间’,
note varchar(2) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL COMMENT ‘备注’,
PRIMARY KEY (id, sub_type_code) USING BTREE,
INDEX idx_subtype_code(sub_type_code ASC) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Compact;


– Records of bd_subtype


INSERT INTO bd_subtype VALUES (0, ‘CON’, ‘工程’, ‘工程1111’, 0, ‘1’, ‘2025-04-16 17:35:37’, ‘1’, ‘2025-04-16 17:35:37’, ‘1’);
INSERT INTO bd_subtype VALUES (1, ‘EQU’, ‘设备’, ‘设备2111’, 1, ‘1’, ‘2025-04-16 17:35:37’, ‘1’, ‘2025-04-16 17:35:37’, ‘1’);
INSERT INTO bd_subtype VALUES (2, ‘MAT’, ‘物资’, ‘物资22111’, 2, ‘1’, ‘2025-04-16 17:35:37’, ‘1’, ‘2025-04-16 17:35:37’, ‘1’);
INSERT INTO bd_subtype VALUES (3, ‘SRV’, ‘服务’, ‘服务111’, 3, ‘1’, ‘2025-04-16 17:35:37’, ‘1’, ‘2025-04-16 17:35:37’, ‘1’);
INSERT INTO bd_subtype VALUES (5, ‘EQL’, ‘设备租赁1’, ‘设备租赁2111’, 5, ‘11’, ‘2025-04-16 17:35:37’, ‘1’, ‘2025-04-16 17:35:37’, ‘1’);

SET FOREIGN_KEY_CHECKS = 1;



是创建changefeed后,不添加这个字段过滤配置时都是正常的,数据变更消息,可以发送到kafka,加上字段过滤配置就不行了,cdc.log一直报warn错误,并且kafka无法收到数据变更的消息了

确定格式都正确嘛?

重启下,看下报错的日志吧。

看日志像是一个都没匹配到

cdc log 日志有什么报错呢