TiDB mydumper异常

  • 系统版本 & kernel 版本:RedHead 7.2
  • TiDB 版本:2.1.1
  • 磁盘型号:
  • 集群节点分布:2TiDB,2PD,5TiKV
  • 数据量 & region 数量 & 副本数:
  • 集群 QPS、.999-Duration、读写比例:
  • 问题描述(我做了什么):我使用mydumper对TiDB集群进行数据库的全库备份。但备份过程中,有一些表(约20张左右)出现“TiKV server timeout[try again later]”或“Region is unavailable[try again later]”。全库备份完成后,我对出现上述问题的表,再次进行备份,扔出现上述问题。根据出错时间,我在TiDB的日志中发现如下信息: Grafana里TiKV的错误信息如图:

原因:

mydumper 导出操作线程过大,导致 coprocessor 负载较高。

解决办法:

建议降低 mydumper 线程,减少并发线程数。

线程数,由第一次的16调整到4后,没有再出现上述问题。谢谢支持!

您好,我想问一下,您是从哪里看出来的是因为导出线程过大的问题导致的?

有一个 coprocessor error,代表当时 在处理读请求时有错误。另外,还可以看 leader drop 值很高,一般代表 TiKV 的 raftstore 线程卡住,压力过大。同时,还可以看 coprocessor cpu 的使用率