mydumper/loader invalid connection

使用 mydumper loader 进行备份和恢复,从mysql 5.6导出 到mysql 8.0 ,有大库大表;单表有上百G;
/soft/tidb-tools/bin/mydumper --version
mydumper 0.9.5 (ba3946edc087e87bba7cb2728bc2407f6dbd0a8b), built against MySQL 5.7.24
/soft/tidb-tools/bin/loader :wink:
Release Version: v1.0.0-78-g6aea485
Git Commit Hash: 6aea4851bb0c6e599c64b5c952ce257863c21586
Git Branch: master
UTC Build Time: 2019-12-18 04:25:49
Go Version: go version go1.13 linux/amd64

导出的配置语句:
/mydumper -u root -p ‘xxx’ -h xxxx -P 13360 -t 16 -F 128 -l 72000 --skip-tz-utc -o /data/xx…all/
导入,
[info] config: {“log-level”:“info”,“log-file”:“/home/。。。/history7.log”,“status-addr”:“:8272”,“pool-size”:16,“dir”:“/data/。。。/history2/”,“db”:{“host”:“1xxxx”,“user”:“xxxx”,“port”:10,“sql-mode”:“”,“m
ax-allowed-packet”:134217728},“checkpoint-schema”:“tidb_loader”,“config-file”:“load10.toml”,“route-rules”:null,“do-table”:null,“do-db”:null,“ignore-table”:null,“ignore-db”:null,“rm-checkpoint”:false}

感觉loader的参数已经中规中矩按照官网又是大表,maxpacker都已经调128M最大了是吧,但出现的现象是运行两小时左右就仍然报invalid connections 需要重启loader 如此循环;请问是哪方面原因呢?
thread 我这边参数: innodb_buffer_pool_size = 51539607552 即48G table_open_cache 18000
±------------------±------+
| Variable_name | Value |
±------------------±------+
| Threads_cached | 7 |
| Threads_connected | 17 |
| Threads_created | 24 |
| Threads_running | 18 |
±------------------±------+
下面看运行截图,
1


2

3

请问各路大侠,我还要怎么调? mysql8.0 innodb;cpu 40核 内存一百多G;


若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

4 个赞

越来越慢,

这个大表有自增id+时间作为主键,还有一个单字段是唯一键,还有四五个普通索引 ---- 为了插入速度,这索引只能先去掉吗

3 个赞

image

3 个赞

这是系统资源耗用情况:—目前仅仅就这个loader在跑哦

3 个赞

26.1.10. 与MyODBC连接相关的事宜_MySQL 中文文档 – 这官网找了,怎么去找到问题答案哦 高手请help

3 个赞

loader参数是怎么样,mysql的error日志有没有,看这是io不太够跟不上。

3 个赞

:thinking:你这是用tidb的工具,做 mysql 到 mysql 的数据迁移?

如果是有规律的每2个小时报错,那建议检查一下相关的超时参数,比如mysql的wait_time,或者负载均衡的超时参数,或者连接串的超时参数等

2 个赞

我一开始就写明loader参数了哦 日志也贴上了呢

1 个赞

不是的;有时半小时 一小时 三小时;—不是看这个规律的;
这个直接往mysql写的 不涉及负载均衡;
既然有很多写成功的,线程又是8线程 ;也不存在wait_time超时吧

1 个赞

得了 这么水的回答都,我自己咬咬牙看源码去 这社区都指望不上啥

1 个赞

这个是我这边实践遇到的问题,很抱歉没有帮到你~

Hi,实在抱歉,目前 loader 已经停止维护,你面临的问题应该是 MySQL 到 MySQL 数据导入问题,现在 TiDB 导入导出工具都是面向 TiDB,所以在导入逻辑里面会加入一些符合 TiDB 数据流写入和读取的逻辑,实际对 MySQL 到 MySQL 场景并不能保证适配。建议你可以在 MySQL 社区寻求一下更好的帮助。引文是 TiDB 官方网站的数据导入导出工具介绍,希望可以帮助到你使用 TiDB https://docs.pingcap.com/zh/tidb/v5.2/ecosystem-tool-user-guide/#全量导入---tidb-lightning

1 个赞

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。