tidb-lightning迁移数据中途报错

Perterually · 2020 年6 月 5 日 08:18

【TiDB 版本】：v4.0.0
【TiDB-lightning版本】：v4.0.0
【问题描述】：导入的中途出错，请看日志文件
tikv-importer.log (706.4 KB)
tidb-lightning.log (46.7 KB)

GangShen · 2020 年6 月 5 日 09:00

麻烦检查一下 pd 以及 tikv 节点的日志，看下在导入过程中 pd 和 tikv 是否有重启的情况

pd 和 tikv 日志中是否有异常信息

Perterually · 2020 年6 月 8 日 11:11

这是日志麻烦看下logs.tar (5.5 KB) ，我用mysqldump导入是没有问题的一用tidb-lightning导入就会中途报错

yilong · 2020 年6 月 8 日 13:23

lightning 日志中报错：

import reach max retry 3 and still failed: rpc error: code = Unavailable desc = all SubConns are in TransientFailure, latest connection error: connection error: desc = “transport: Error while dialing dial tcp 192.168.1.53:8287: connect: connection refused”"] [errorVerbose="rpc error: code = Unavailable desc = all SubConns are in TransientFailure, latest connection error: connection error: desc = "transport: Error while dialing dial tcp 192.168.1.53:8287: connect: connection

importer 日志报错：

[ERROR] [import.rs:358] [“import sst failed (too many tries)”] [tag="[ImportSSTJob deb6aede-5931-52e8-9629-7d58954246c7:2:26]"] [2020/06/05 15:12:34.364 +08:00] [INFO] [engine.rs:220] [“cleanup SST completed”] [file_path=""/data/data.import/deb6aede-5931-52e8-9629-7d58954246c7/.da79a642-0232-4d8c-9b1f-07a1f9b84f71:write""]

麻烦检查在 lightning 导入时，服务器资源是否有被占用满，导致连接中断，多谢。

Perterually · 2020 年6 月 9 日 11:16

我测试了下，导入小表是没有问题只要是大表就会报错但是导入小表速度竟然用了五分钟多．．是我的机器配置太低了吗，三个tikv机器差不多都是虚拟４核．．普通sata硬盘 8g内存．

yilong · 2020 年6 月 9 日 12:38

是有些低

Perterually · 2020 年6 月 9 日 12:41

能不能限制下使用资源（我设置了region-concurrency百分之75也不行）慢点导进去也行只要不报错就行．．．

yilong · 2020 年6 月 10 日 02:04

使用 lightning-backend 方式导入，速度会比较慢

Perterually · 2020 年6 月 10 日 02:08

好的我试下

yilong · 2020 年6 月 10 日 03:10

好的，有问题在反馈

Perterually · 2020 年6 月 11 日 01:40

我试了下 lightning-backend 是可以的但是Importer-backend还是不行．．．只要导一会儿就会报错，lingtning的日志如下

[2020/06/10 20:29:02.553 +08:00] [INFO] [restore.go:1746] ["restore file completed"] [table=`demo`.`test`] [engineNumber=0] [fileIndex=72] [path=/media/el/diskA/tidb/tidb-toolkit-v4.0.0-linux-amd64/bin/mydumper_data/demo.test.000000074.sql:0] [readDur=936.958984ms] [encodeDur=3.253004865s] [deliverDur=3.014119962s] [checksum="{cksum=16403092259004762627,size=49737205,kvs=893412}"] [takeTime=4.322843175s] []
[2020/06/10 20:29:07.189 +08:00] [INFO] [restore.go:1746] ["restore file completed"] [table=`demo`.`test`] [engineNumber=0] [fileIndex=73] [path=/media/el/diskA/tidb/tidb-toolkit-v4.0.0-linux-amd64/bin/mydumper_data/demo.test.00001.sql:0] [readDur=2.477584627s] [encodeDur=6.207655479s] [deliverDur=6.038634357s] [checksum="{cksum=4908066088756431228,size=121503383,kvs=2109318}"] [takeTime=8.884454984s] []
[2020/06/10 20:29:07.189 +08:00] [INFO] [restore.go:975] ["encode kv data and write completed"] [table=`demo`.`test`] [engineNumber=0] [read=662958535] [written=8186637840] [takeTime=5m49.07846187s] []
[2020/06/10 20:29:07.189 +08:00] [INFO] [backend.go:292] ["engine close start"] [engineTag=`demo`.`test`:0] [engineUUID=deb6aede-5931-52e8-9629-7d58954246c7]
[2020/06/10 20:29:15.435 +08:00] [INFO] [backend.go:294] ["engine close completed"] [engineTag=`demo`.`test`:0] [engineUUID=deb6aede-5931-52e8-9629-7d58954246c7] [takeTime=8.245750927s] []
[2020/06/10 20:29:15.435 +08:00] [INFO] [restore.go:831] ["restore engine completed"] [table=`demo`.`test`] [engineNumber=0] [takeTime=5m57.324355602s] []
[2020/06/10 20:29:15.435 +08:00] [INFO] [restore.go:1350] ["import and cleanup engine start"] [engineTag=`demo`.`test`:0] [engineUUID=deb6aede-5931-52e8-9629-7d58954246c7]
[2020/06/10 20:29:15.435 +08:00] [INFO] [backend.go:306] ["import start"] [engineTag=`demo`.`test`:0] [engineUUID=deb6aede-5931-52e8-9629-7d58954246c7] [retryCnt=0]
[2020/06/10 20:33:17.840 +08:00] [INFO] [restore.go:503] [progress] [files="74/74 (100.0%)"] [tables="0/2 (0.0%)"] [speed(MiB/s)=5.646783780955001] [state=post-processing] []
[2020/06/10 20:38:17.832 +08:00] [INFO] [restore.go:503] [progress] [files="74/74 (100.0%)"] [tables="0/2 (0.0%)"] [speed(MiB/s)=3.7647679758685975] [state=post-processing] []
[2020/06/10 20:43:17.794 +08:00] [INFO] [restore.go:503] [progress] [files="74/74 (100.0%)"] [tables="0/2 (0.0%)"] [speed(MiB/s)=2.823738918265243] [state=post-processing] []
[2020/06/10 20:43:41.745 +08:00] [WARN] [backend.go:312] ["import spuriously failed, going to retry again"] [engineTag=`demo`.`test`:0] [engineUUID=deb6aede-5931-52e8-9629-7d58954246c7] [retryCnt=0] [error="rpc error: code = Unknown desc = ImportJobFailed(\"retry 5 times still 5 ranges failed\")"]
[2020/06/10 20:43:44.745 +08:00] [INFO] [backend.go:306] ["import start"] [engineTag=`demo`.`test`:0] [engineUUID=deb6aede-5931-52e8-9629-7d58954246c7] [retryCnt=1]
[2020/06/10 20:45:49.121 +08:00] [INFO] [main.go:44] ["got signal to exit"] [signal=terminated]
[2020/06/10 20:45:49.121 +08:00] [INFO] [restore.go:266] ["user terminated"] [step=2] [error="restore table `demo`.`test` failed: rpc error: code = Canceled desc = context canceled"]
[2020/06/10 20:45:49.121 +08:00] [INFO] [restore.go:276] ["the whole procedure completed"] [takeTime=22m31.4996164s] []

来了老弟 · 2020 年6 月 11 日 03:17

你好，

tidb-lightning 有两种导入模式

tidb-lightning 和 tikv-importer 此为 import 模式，使用资源较多，tidb 集群无法对外提供服务，适用于初始化 tidb 集群
tidb-lightning backend 模式，类似 loader 速度也类似，无需配置 tikv-importer，使用 tidb-lightning 即可，集群可以对外提供服务。

Perterually · 2020 年6 月 12 日 02:23

经过我测试．．在Importer-backend模式的时候我的机器配置比较低， tikv-importer的默认配置参数想对我的机器有点大，所以每次导入都失败,在我改小点参数后就没问题了．

来了老弟 · 2020 年6 月 12 日 02:28

，importer 模式确实很吃服务器资源，建议根据文档服务器配置进行配置。

有问题欢迎开新帖继续