tidb-lightning整体完成后checksum报错

🪐 TiDB 技术问题 备份&数据迁移
1

对应的日志如下：
[2020/08/06 23:07:20.881 +08:00] [ERROR] [restore.go:538] [“restore all tables data failed”] [takeTime=13h4m19.126080425s] [error=“compute remote checksum failed: invalid connection”]
[2020/08/06 23:07:20.881 +08:00] [ERROR] [restore.go:250] [“run failed”] [step=2] [error=“compute remote checksum failed: invalid connection”]
[2020/08/06 23:07:20.881 +08:00] [ERROR] [restore.go:256] [“the whole procedure failed”] [takeTime=13h4m21.411388099s] [error=“compute remote checksum failed: invalid connection”]
[2020/08/06 23:07:20.881 +08:00] [INFO] [restore.go:430] [“everything imported, stopping periodic actions”]
[2020/08/06 23:07:20.881 +08:00] [ERROR] [restore.go:114] [“tables failed to be imported”] [count=1

error=“compute remote checksum failed: invalid connection” 这个需要怎么解决

2

你好，

提供下 tidb 和 tidb lightning 的版本信息
提供下 lightning log 的完整信息，我们看下、

3

可以手动使用 mysql 连接到 tidb 然后执行一下

admin checksum table table-name

看一下能不能成功执行

4

好的，感谢，我试下

5

如何，是否可以执行，并且是说明下 checksum 的表是否为大表，数据量，行数，表结构可以提供下

6

可以执行，是大表，大概8.9亿数据，这个报错会影响数据的导入完整性吗

7

一般不会，这个步骤仅为比对上下游数据。admin checksum table table-name 可以执行成功是吧

8

是的，admin checksum table table-name 可以执行成功。

9

感谢反馈，测试下 select count(*) FROM TBL; 看是否可以成功
辛苦说明下 tidb lightning 的使用模式是什么

10

count是可以的。 您指的模式是这个吗 Importer-backend 默认的。

11
  • Local-backend : tidb-lightning 先将数据编码成键值对并排序存储在本地临时目录，然后批量将这些键值对写到各个 TiKV 节点，然后由 TiKV 将它们 Ingest 到集群中。和 Importer-backend 原理相同，不过不依赖额外的 tikv-importer 组件。
  • Importer-backend ： tidb-lightning 先将 SQL 或 CSV 数据编码成键值对，由 tikv-importer 对写入的键值对进行排序，然后把这些键值对 Ingest 到 TiKV 节点中。
  • TiDB-backend ： tidb-lightning 先将数据编码成 INSERT 语句，然后直接在 TiDB 节点上运行这些 SQL 语句进行数据导入。

以上哪一种，或者根据哪个文档配置得

12

admin checksum table 执行成功的话，可以和日志里面的对比一下， 如果一致的话， 就说明导入成功了。在日志里面搜索「local checksum」对应的日志类似如下：

[2020/08/12 03:54:13.788 +08:00] [INFO] [restore.go:1109] ["local checksum"] [table=`tpcc`.`order_line`] [checksum="{cksum=14593945125486384483,size=705247754813,kvs=8601446588}"]

admin checksum table 和 上述日志里面对应 table 的 cksum 字段值一致的话， 就说明导入是完整的。

checksum 容易失败这个问题，我们目前正在解决，感谢反馈~

13

好的，感谢。

14

:+1:

15

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。