yangwc
(Calvinyang)
1
你好!lightning导入工具报错,无法解决,能否帮我看看问题原因:
- 【TiDB 版本】:4.0.2 导入工具4.0.2
- 【问题描述】:lightning工具导入时报错
tikv-impoter配置如下:
log-file = "tikv-importer.log"
log-level = "info"
status-server-address = "0.0.0.0:8286"
[server]
addr = "0.0.0.0:8287"
[metric]
job = "tikv-importer"
interval = "15s"
address = ""
[import]
import-dir = "/root/data.import/"
lightning配置文件如下:
[lightning]
#region-concurrency =
level = "info"
file = "tidb-lightning.log"
[tikv-importer]
addr = "XXX:8287"
[mydumper]
data-source-dir = "/root/data/"
[tidb]
host = "XXX"
port = 4000
user = "root"
password = "XXX"
status-port = 10080
日志文件如下:
tikv-importer.log (79.2 KB)
lightning1.log (85.2 KB)
yilong
(yi888long)
2
yangwc
(Calvinyang)
3
之前已经照着排查:
1、库和表是lightning建立的,可排除
2、每张表中均导入了部分数据,但没有导全,怎样确定是否是因为集群太忙?
3、数据是由tiup bench tpcc产生,并不存在值不符合规定的情况,可排除
4、lightning重启后已经做了 -checkpoint-error-destroy=all和-remove-checkpoint=all
yilong
(yi888long)
4
你的集群配置是什么? 还是使用单机在测试呢? ip 是 0.0.0.0 ?
yangwc
(Calvinyang)
5
global:
user: "tidb"
ssh_port: 22
deploy_dir: "/home/tidb/tidb-deploy"
data_dir: "/home/tidb/tidb-data"
pd_servers:
- host: XXX
tidb_servers:
- host: XXX
tikv_servers:
- host: XXX
monitoring_servers:
- host: XXX
grafana_servers:
- host: XXX
alertmanager_servers:
- host: XXX
~
用了2台虚拟机部署,一个tikv实例,0.0.0.0是看到你们模板里面这边用的,这个应该没有影响吧?部分数据可以导入成功。
yangwc
(Calvinyang)
6
不对,刚检查了一下,插入的数据全是NULL,是因为数据生成的问题吗,这是其中一个表的csv
yangwc
(Calvinyang)
7
是默认配置与数据源不匹配的问题,修改了 [mydumper.csv]后已经成功,谢谢
system
(system)
关闭
9
此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。