lightning v4.0.2 报错:checksum mismatched remote vs local

你好!lightning导入工具报错,无法解决,能否帮我看看问题原因:

  • 【TiDB 版本】:4.0.2 导入工具4.0.2
  • 【问题描述】:lightning工具导入时报错

tikv-impoter配置如下:

log-file = "tikv-importer.log"
log-level = "info"

status-server-address = "0.0.0.0:8286"

[server]
addr = "0.0.0.0:8287"

[metric]
job = "tikv-importer"
interval = "15s"
address = ""

[import]
import-dir = "/root/data.import/"

lightning配置文件如下:

[lightning]
#region-concurrency = 

level = "info"
file = "tidb-lightning.log"

[tikv-importer]
addr = "XXX:8287"

[mydumper]
data-source-dir = "/root/data/"

[tidb]
host = "XXX"
port = 4000
user = "root"
password = "XXX"
status-port = 10080

日志文件如下:

tikv-importer.log (79.2 KB)

lightning1.log (85.2 KB)

请参考文档检查下,多谢。
https://docs.pingcap.com/zh/tidb/stable/troubleshoot-tidb-lightning#checksum-failed-checksum-mismatched-remote-vs-local

之前已经照着排查:

1、库和表是lightning建立的,可排除

2、每张表中均导入了部分数据,但没有导全,怎样确定是否是因为集群太忙

3、数据是由tiup bench tpcc产生,并不存在值不符合规定的情况,可排除

4、lightning重启后已经做了 -checkpoint-error-destroy=all和-remove-checkpoint=all

你的集群配置是什么? 还是使用单机在测试呢? ip 是 0.0.0.0 ?

global:
  user: "tidb"
  ssh_port: 22
  deploy_dir: "/home/tidb/tidb-deploy"
  data_dir: "/home/tidb/tidb-data"

pd_servers:
  - host: XXX

tidb_servers:
  - host: XXX

tikv_servers:
  - host: XXX

monitoring_servers:
  - host: XXX

grafana_servers:
  - host: XXX

alertmanager_servers:
  - host: XXX
~                           

用了2台虚拟机部署,一个tikv实例,0.0.0.0是看到你们模板里面这边用的,这个应该没有影响吧?部分数据可以导入成功。

不对,刚检查了一下,插入的数据全是NULL,是因为数据生成的问题吗,这是其中一个表的csv

是默认配置与数据源不匹配的问题,修改了 [mydumper.csv]后已经成功,谢谢

:+1:

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。