loder 导入tidb mydumper志出的700G文件至mysql 8.0用了2天2夜才导了70%,有没有什么办法加速?

conf.toml (1.2 KB)

目前mysql 8.0已禁写日志,机器为48核(Intel® Xeon® CPU E5-2650 v4 @ 2.20GHz),256G内存,硬盘4块SSD做的raid 10

你好,

可以尝试调大 pool-size 参数看是否能加速导入

PS:Loader 目前已经不再维护,其功能已经完全被 TiDB Lightning 的 TiDB backend 功能取代,强烈建议切换到 TiDB Lightning。

收到,感谢

先试一下,有问题可以即使反馈,loader 有断点续传功能。

pool-size我试加过了,由16加至32,或48都没有用

应该观察一会才能看出来吧,只从百分比好像不是很明显,目前 loader 导入只能这样调优了,或者看下 mysql 的配置能否优化下写入的速度

明白,另外请问一下tidb 3.06升级至最新的4.02能带查询的业务滚动升级吗?

可以滚动升级,线上环境还是建议在业务低峰期进行,可以在测试环境通过 sysbench 压测,或者是任务跑批的形式进行升级,看下对集群的影响,是否可以接受。

明白,我之前在业务低峰时滚动升级过,影响不大。

是的,以实际的测试结果为准