Datax 写入TIDB 慢，5000条/s 下降至 200条/s

卡卡其其 · 2023 年5 月 25 日 07:31

【 TiDB 使用环境】生产环境
【 TiDB 版本】6.5.2
【复现路径】jdbc、channel 、batchsize
【遇到的问题：问题现象及影响】写入突然降低
【附件：截图/日志/监控】

reader : hdfs reder
channel 10
batchsize : 1024
“jdbcUrl”: “jdbc:mysql://xxxx:4000/ads_global?useUnicode=true&characterEncoding=utf-8&useSSL=false&autoReconnect=true&useServerPrepStmts=true&cachePrepStmts=true&prepStmtCacheSize=1000&prepStmtCacheSqlLimit=2048000&useConfigs=maxPerformance&rewriteBatchedStatements=true&allowMultiQueries=true&useCursorFetch=true&netTimeoutForStreamingResults=28800&sessionVariables=wait_timeout=123456”

Billmay表妹 · 2023 年5 月 25 日 07:38

用了 TiCDC 了吗？

WalterWj · 2023 年5 月 25 日 08:46

是不是下游压力大？

tidb菜鸟一只 · 2023 年5 月 26 日 01:01

写入表的表结构方便发一下看看不

TiDBer_pkQ5q1l0 · 2023 年5 月 26 日 01:11

granfa看看各个节点的负载情况。

卡卡其其 · 2023 年5 月 26 日 01:28

CREATE TABLE ods_crm_biz_t_integral_account_log (
id bigint(64) NOT NULL AUTO_INCREMENT,
member_id bigint(64) NOT NULL COMMENT ‘会员ID’,
integral_type varchar(50) NOT NULL COMMENT ‘积分类型’,
integral_value decimal(12,2) DEFAULT NULL COMMENT ‘积分值’,
tran_id bigint(64) DEFAULT NULL COMMENT ‘交易ID’,
tran_no varchar(50) DEFAULT NULL COMMENT ‘交易号’,
update_type int(2) DEFAULT NULL COMMENT ‘变更类型（1:增加，2:扣减）’,
accruals_id bigint(64) DEFAULT NULL COMMENT ‘应计ID’,
oper_src int(2) DEFAULT ‘1’ COMMENT ‘来源(1:增加，2:扣减，4:初始化积分，5:手动调整，6 积分清零，7 积分兑优惠券,8 积分兑券）’,
repay_id varchar(10000) DEFAULT NULL COMMENT ‘偿还ID’,
tenant_id varchar(10) DEFAULT NULL COMMENT ‘租户ID’,
create_dept bigint(64) DEFAULT NULL COMMENT ‘创建部门’,
create_position bigint(64) DEFAULT NULL COMMENT ‘创建职位’,
create_user bigint(64) DEFAULT NULL COMMENT ‘创建人’,
create_time datetime DEFAULT NULL COMMENT ‘创建时间’,
update_user bigint(64) DEFAULT NULL COMMENT ‘修改人’,
update_time datetime DEFAULT NULL COMMENT ‘修改时间’,
status int(2) DEFAULT NULL COMMENT ‘状态’,
is_deleted int(2) DEFAULT ‘0’ COMMENT ‘是否删除(0:正常,1:删除)’,
original_member_id bigint(64) DEFAULT NULL COMMENT ‘合并原会员id’,
original_card_no varchar(100) DEFAULT NULL COMMENT ‘原会员卡号’,
original_member_comments varchar(2000) DEFAULT NULL COMMENT ‘合并会员备注’,
PRIMARY KEY (id) /*T![clustered_index] CLUSTERED */,
KEY t_integral_account_log_index1 (member_id,integral_type),
KEY t_integral_account_log_index2 (tran_id),
KEY t_integral_account_log_index3 (tran_no),
KEY t_integral_account_log_index4 (create_time)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin AUTO_INCREMENT=1594605659184571699 COMMENT=‘积分账户变更日志’

卡卡其其 · 2023 年5 月 26 日 01:29

是考虑热点问题么？之前测试过表下边加东西，让他打散，不太管用呢

卡卡其其 · 2023 年5 月 26 日 01:29

别的表同步没出现这个问题

卡卡其其 · 2023 年5 月 26 日 01:29

目前暂时无压力

tidb菜鸟一只 · 2023 年5 月 26 日 03:17

应该就是热点问题，你去dashboard下面看下导入的时候这个表热点情况，我的建议是将建表语句中的 AUTO_INCREMENT 改为 AUTO_RANDOM

卡卡其其 · 2023 年5 月 26 日 05:48

其他任务目前都在以每秒1000条的速度写入，就这个任务，每秒200条。并且热点上找不到他