用 mysql -e 将查询出来的数据输出到外部文件，网卡被打满

pangyana · 2020 年8 月 11 日 10:34

为提高效率，提问时请提供以下信息，问题描述清晰可优先响应。

【TiDB 版本】：4.0.1
【问题描述】：
time mysql -h172.16..* -P4000 -utest -p 库名 -e " select * from table where 1=1" > 0811_tidb.txt
ERROR 2003 (HY000): Can’t connect to MySQL server on ‘172.16..*’ (110)

real 2m7.359s
user 0m0.003s
sys 0m0.055s

原因：网络打爆，超2Gb

这个对网络带宽没有限制吗？同样的sql在数据源是mysql时是可以导出的

yilong · 2020 年8 月 11 日 12:03

1.请问如何判断是网卡打爆？机器网卡是万兆吗？
2. tidb 中是什么报错？
3. 是否有 OOM

pangyana · 2020 年8 月 12 日 01:26

1、网络监控这个图昨天没上传成功是这样的，我们的网络带宽上限是2Gbi

2、tidb报错是：
[error=“write tcp 172.16.:4000->172.16.6.:59590: write: connection reset by peer”]"}

3、没有oom

yilong · 2020 年8 月 12 日 02:34

好的，那您可以使用mydumper 导出试试吗？

pangyana · 2020 年8 月 12 日 02:36

我这个是想模拟业务方的sqoop抽取来实现的，sqoop就是直接select查询，
那请问下哦，这个问题在tidb这么操作是不行的吗？我在自建mysql 以及RDS执行都是没有问题的，带宽不会占用这么高

yilong · 2020 年8 月 12 日 06:32

pangyana · 2020 年8 月 12 日 06:38

1、执行计划

2、tidb中的日志就是我上面截图里有

yilong · 2020 年8 月 12 日 09:03

你是用的什么客户端？版本多少？

pangyana · 2020 年8 月 12 日 09:54

yum install mysql 安装的mysql
mysql -V
mysql Ver 15.1 Distrib 5.5.65-MariaDB, for Linux (x86_64) using readline 5.1

用的是mysql命令来执行sql

yilong · 2020 年8 月 12 日 10:56

能否使用MySQL 5.7版本的客户端试试，多谢

pangyana · 2020 年8 月 13 日 01:47

一样的报错

yilong · 2020 年8 月 13 日 07:55

pangyana · 2020 年8 月 13 日 08:39

1、不是同一个主机，客户端不是tidb集群里的机器
2、是tidb节点机器带宽满了，从阿里云监控上看这个机器带宽达到了2Gb

pangyana · 2020 年8 月 13 日 09:07

再次换更高配置的客户端机器尝试，导出成功了，没有中断，但是带宽问题依旧是很高，之前中断的原因是客户端机器发起的mysql导出进程oom了

这个带宽这么高，已经超出了阿里云给我们规格限制

yilong · 2020 年8 月 13 日 09:27

pangyana · 2020 年8 月 13 日 10:09

我是想模拟sqoop抽取就是这种全量查全表的操作，不是导出到文本的，sqoop抽取也不可能在tidb机器上直接抽的，有专门的集群。
关键就是像这种10G左右全表select 是不是带宽确实要占这么高？

yilong · 2020 年8 月 13 日 13:39

请问下，相同的数据量，mysql中需要多少带宽？

pangyana · 2020 年8 月 14 日 01:46

大概200Mb左右

imtbkcat-PingCAP · 2020 年8 月 14 日 02:55

你好，因为 mysql 的网络通信量只有把结果返回客户端。但是 tidb 需要把查询请求发到相应的 tikv 节点，tikv 节点再把数据返回 tidb，因为数据量很大，也会消耗相应量的网络带宽。

yilong · 2020 年8 月 14 日 03:11

请问，这个流量图是客户端机器的，还是 tidb-server 的，多谢。