lighting导入遇到重复数据出错 已经做了忽略重复错误数据的配置 帮忙看看

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】
[lightning]

日志

level = “error”
file = “1tidb-lightning.log”
max-error = 9223372036854775807
[tikv-importer]

选择使用的导入模式

backend = “tidb”
duplicate-resolution = ‘remove’

设置排序的键值对的临时存放地址,目标路径需要是一个空目录

sorted-kv-dir = “/tmp/tidba”
[[mydumper.files]]

table schema 文件

pattern = ‘(?i)^(?:[^/]/)kumex_trade_..order_ops_his_v2_..[0-9].csv’
schema = “old_system_data”
table = “order_ops_his_v2_0”
type = “csv”
#pattern = '(?i)^(?:[^/]
/)kumex_trade_0.trade_settlement_his_v2_...?.csv’
#schema = “old_system_data”
#table = “trade_settlement_his_v2_0”
#type = “csv”

[conflict]
strategy = “replace”
threshold = 9223372036854775807

max-record-rows = 100

[mydumper]

源数据目录。

data-source-dir = “/dataa/”

配置通配符规则,默认规则会过滤 mysql、sys、INFORMATION_SCHEMA、PERFORMANCE_SCHEMA、METRICS_SCHEMA、INSPECTION_SCHEMA 系统数据库下的所有表

若不配置该项,导入系统表时会出现“找不到 schema”的异常

filter = [‘.’, ‘!mysql.', '!sys.’, ‘!INFORMATION_SCHEMA.', '!PERFORMANCE_SCHEMA.’, ‘!METRICS_SCHEMA.', '!INSPECTION_SCHEMA.’]
[tidb]

目标集群的信息

host = “10.12.8.204”
port = 4000
user = “root”


这里是*.*吧
TiDB Lightning 配置参数 | PingCAP 文档中心

查看一下源数据有没有重复

详细错误信息截图一下吧

来个报错截图看一下

坐等截图

都在等详细错误来进行分析

[conflict]
strategy = “replace”
threshold = 9223372036854775807

上面这个配置直接去掉

[tikv-importer]

# 选择使用的导入模式

backend = “tidb”
#duplicate-resolution = ‘remove’
on-duplicate = “replace”

[tikv-importer] 标签下这样配置一下。
再试试看是否可以。