测试mysql导入数据到tidb，导入速度非常慢

🪐 TiDB 技术问题 备份&数据迁移
1

为提高效率，请提供以下信息，问题描述清晰能够更快得到解决：
【 TiDB 使用环境】VM虚拟机安装单机版tidb5，导入mysql数据非常慢问题。

【概述】 因业务计划由原mysql迁移至tidb数据库，测试验证tidb性能。
虚拟机场景安装TIDB单机5.0版本，批量导入数据为200W左右，导入数据每秒才几十秒，效率非常慢。请问这个是什么原因。

【备份和数据迁移策略逻辑】

【背景】 计划将mysql迁移至tidb，进行性能测试

【现象】 导入数据非常慢~

【问题】 分别使用5.0和5.3进行测试结果都是一样。

【业务影响】

【TiDB 版本】 5.0 、5.3

【附件】

  • 相关日志、配置文件、Grafana 监控（https://metricstool.pingcap.com/)
  • TiUP Cluster Display 信息
  • TiUP CLuster Edit config 信息
  • TiDB-Overview 监控
  • 对应模块的 Grafana 监控（如有 BR、TiDB-binlog、TiCDC 等）
  • 对应模块日志（包含问题前后 1 小时日志）

若提问为性能优化、故障排查类问题，请下载脚本运行。终端输出的打印结果，请务必全选并复制粘贴上传。

1 个赞
2

导入是通过什么方式导入的呢？

1 个赞
3

首先要确认一下导入方式是什么
然后看看tidb集群是否有瓶颈，因为你是单机部署集群的，如果硬件不够高，又是多节点部署的，可能测试的效果也不会太好

2 个赞
4

通过mysql的导出的sql文件，插入的。速度非常慢

1 个赞
5

通过mysql导出的sql文件，然后用Navicat 工具导入的。

1 个赞
6

1、Navicat导入本身就慢
2、虚拟机用的什么磁盘，配置怎么样
3、单机部署的集群基本不用考虑性能了

7

建议使用官方工具进行测试，我们之前使用的是mydumper和loader配合做mysql数据的迁移。
现在版本应该建议使用的是DM、 TiDB Lightning工具做数据迁移导入

8

如果是你本地电脑的navicat那肯定会慢，首先网络成本太高了，而且是单线程的，就算是导入mysql也一样慢，在服务器上用dumpling和TiDB Lightning多线程导入导出就快多了，具体使用方法可以参考https://docs.pingcap.com/zh/tidb/v5.0/get-started-with-tidb-lightning

9

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。