pt-archiver导入数据报错

【 TiDB 使用环境】线上 【 TiDB 版本】6.1 【遇到的问题】在做mariadbDB10.4.18 【复现路径】做过哪些操作出现的问题 【问题现象及影响】 在做pt-archiver数据同步的时候,一共数据有1.9亿,同步到了1.4亿多的时候,出现了以下报错 DBD::mysql::st execute failed: Error: KV error safe to retry Error(Txn(Error(Mvcc(Error(TxnLockNotFound { start_ts: TimeStamp(434848378955497480), commit_ts: TimeStamp(434848395365449748), key: [116, 128, 0, 0, 0, 0, 0, 1, 1, 95, 105, 128, 0, 0, 0, 0, 0, 0, 1, 1, 14, 96, 14, 44, 14, 109, 14, 41, 255, 14, 47, 14, 51, 14, 51, 14, 139, 255, 2, 33, 14, 139, 14, 74, 14, 185, 255, 14, 74, 2, 33, 14, 42, 14, 42, 255, 14, 139, 14, 96, 2, 33, 14, 49, 255, 14, 139, 14, 45, 14, 48, 2, 33, 255, 14, 74, 14, 45, 14, 41, 14, 46, 255, 14, 46, 14, 109, [for Statement “LOAD DATA LOCAL INFILE ? INTO TABLE dddd.ttttCHARACTER SET utf8(id,amount_code,group_code,group_name,customer_code,customer_name,sales_center_code,sales_center_name,account_code,amount,is_amount_control,is_discount_control,tenant_code,create_time,created_by,update_time,updated_by,version,delete_flag,remark,freeze_date,freeze_time)” with ParamValues: 0=’/tmp/VA7wb2D5FMpt-archiver’] at ./pt-archiver line 6212.

请大神协助指引一下,是什么问题引起的,在做同步的时候需要注意什么细节?

https://docs.pingcap.com/zh/tidb/v4.0/troubleshoot-lock-conflicts#锁被清除-locknotfound-错误

参考一下这个


生产一般都是分批进行事务提交,你这个表委实有点大

可能和tikv锁相关,事务提交ttl超时了? pt-arch 建议根据数据量和机器性能适当降低批量提交的数量 mysql用pt-arch工具 500-1000-10000-20000-50000根据自己需求定吧,正常mysql普通ssd单机的操作时间一般1亿120分钟,期间批量1000以内还可以有效降低延迟

跟每行数据量大小也有点关系,我们一般最多设置到20000行一个事务提交差不多了

1000效率也不错的,只是批量的大小区别

感谢以上大佬提供的方案