tidb-lightning 导入数据后 switch mode failed

🪐 TiDB 技术问题 备份&数据迁移
1

为提高效率，提问时请提供以下信息，问题描述清晰可优先响应。

  • 【TiDB 版本】：4.0.0-beta.1
  • 【问题描述】： tidb-lightning 导入数据后 switch mode failed ,最后的日志如下

[2020/03/15 06:49:13.123 +08:00] [INFO] [restore.go:452] [“everything imported, stopping periodic actions”] [2020/03/15 06:49:13.126 +08:00] [INFO] [restore.go:674] [“restore all tables data completed”] [takeTime=1h10m46.797570728s] [] [2020/03/15 06:49:13.126 +08:00] [INFO] [restore.go:1051] [“skip full compaction”] [2020/03/15 06:49:13.133 +08:00] [WARN] [tikv.go:142] [“switch mode failed”] [mode=Normal] [takeTime=1.203243ms] [error="rpc error: code = Unimplemented desc = "] [2020/03/15 06:49:13.133 +08:00] [INFO] [restore.go:274] [“the whole procedure completed”] [takeTime=1h11m24.349372697s] [] [2020/03/15 06:49:13.133 +08:00] [INFO] [main.go:61] [“tidb lightning exit”]

手工操作也是失败 [root@i-6gxppaks bin]# ./tidb-lightning-ctl --config ./tidb-lightning.toml --switch-mode=normal rpc error: code = Unimplemented desc = github.com/pingcap/errors.AddStack /home/jenkins/agent/workspace/release_tidb_4.0/go/pkg/mod/github.com/pingcap/errors@v0.11.5-0.20190809092503-95897b64e011/errors.go:174 github.com/pingcap/errors.Trace /home/jenkins/agent/workspace/release_tidb_4.0/go/pkg/mod/github.com/pingcap/errors@v0.11.5-0.20190809092503-95897b64e011/juju_adaptor.go:15 github.com/pingcap/tidb-lightning/lightning/backend.SwitchMode.func1 /home/jenkins/agent/workspace/release_tidb_4.0/go/src/github.com/pingcap/tidb-lightning/lightning/backend/tikv.go:140 github.com/pingcap/tidb-lightning/lightning/backend.withTiKVConnection /home/jenkins/agent/workspace/release_tidb_4.0/go/src/github.com/pingcap/tidb-lightning/lightning/backend/tikv.go:90 github.com/pingcap/tidb-lightning/lightning/backend.SwitchMode /home/jenkins/agent/workspace/release_tidb_4.0/go/src/github.com/pingcap/tidb-lightning/lightning/backend/tikv.go:136 main.switchMode.func1 /home/jenkins/agent/workspace/release_tidb_4.0/go/src/github.com/pingcap/tidb-lightning/cmd/tidb-lightning-ctl/main.go:134 github.com/pingcap/tidb-lightning/lightning/backend.ForAllStores.func1 /home/jenkins/agent/workspace/release_tidb_4.0/go/src/github.com/pingcap/tidb-lightning/lightning/backend/tikv.go:127 golang.org/x/sync/errgroup.(*Group).Go.func1 /home/jenkins/agent/workspace/release_tidb_4.0/go/pkg/mod/golang.org/x/sync@v0.0.0-20190911185100-cd5d95a43a6e/errgroup/errgroup.go:57 runtime.goexit /usr/local/go/src/runtime/asm_amd64.s:1357

如何查看系统model值 上述错误怎么破？

若提问为性能优化、故障排查类问题，请下载脚本运行。终端输出的打印结果，请务必全选并复制粘贴上传。

2

您好

不知问题是否已经解决？

我们这个边和研发确认了下，麻烦提供以下信息，便于排查：

1.确认下是否使用了 tiflash；如果没有启用 tiflash，请提供当时 tikv 日志；

2.确认下 tidb-lighting 和 tikv-importer 版本是否与 tidb 相匹配。

查看 tiflash 是否启动：

ps aux | grep tiflash

查看版本方式：

less {tidb-lighting deploy}/log/tidb_lightning.log | grep “Release Version”

less {tikv-importer deploy}/log/tikv_importer.log | grep “Release Version”

3

不好意思，回复晚了 后面没关注，集群启动后正常使用了一周。 1.确认下是否使用了 tiflash；如果没有启用 tiflash，请提供当时 tikv 日志； 答：部署的时候，应该是指定了tiflash的机器IP，但是 ansible 是不会成功部署的。 tiflash后面是在导入完数据后，通过贵司同事给的文档手工部署的。 2.确认下 tidb-lighting 和 tikv-importer 版本是否与 tidb 相匹配。 版本是匹配的。是指定的4.0.0-beta.1 3.有什么工具或命令，我能看下，现在tidb集群的mode是什么值吗

4

tidb-lightning-ctl 命令的用法参考，"./tidb-lightning-ctl --config ./tidb-lightning.toml --switch-mode=normal" tidb-lightning-ctl 命令没有 --config 这个参数

5

您好：

      1. mode值可以查看Prometheus 表達式 
          min(tikv_config_rocksdb{name="hard_pending_compaction_bytes_limit"}) by (instance)
         0 = import mode, ≥1 = normal mode