tidb 4.0rc 导入数据 TiKV server is busy

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:TiDB-4.0RC
  • 【问题描述】:通过mydumper和loader导入库的时候,一直出现“TiKV server is busy”和“Region is unreacheable”。 疑问:
  1. 我观察Dashboard,把database 已经drop掉了,数据还在跑,在热力可视化中,我操作了三次,现在显示三个相同的库。
  2. 我现在导入很小的表,也在提示“TiKV server is busy”。

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出打印结果,请务必全选并复制粘贴上传。

您好:

    1. 请问loader停止了吗? 如果需要停止loader,kill进程
    2. 操作了三次什么? create database,drop database吗?
    3. 请问tidb集群拓扑是什么,满足安装要求吗?
    4. tikv server is busy 和 region is unreacheable 可能是导入时压力太大, 麻烦上传监控信息trouble shooting的监控,多谢
  1. loader是自动停止了,肯定是停止了。
  2. 三次操作是我手动database drop掉了(包括tidb_loader),三次创建了。loader自己创建了三次。 3.拓扑:3pd、5tikv、2tidb,要求肯定是满足的。
  3. 热点问题肯定存在,我现在尝试写入小表也提示“TiKV is Busy”。

你好,

  1. 通过目前监控, coprocessor wait duration 峰值 200+ms,tikv 这边建议低于 50ms, 可以通过调整 readpool.coprocessor.max-tasks-per-worker-normal, max-tasks-per-worker-high, max-tasks-per-worker-low 缓解

调整参数建议慢慢调整,逐渐放大,通过控制变量的方式来确定负责系统的参数配置!

  1. 可以再提供 overview - tikv - raftstore cpu 看下。

  2. tidb 的性能调优可以学下下 tidb performance map : https://github.com/pingcap/tidb-map/blob/master/maps/performance-map.png

参数文档

image

  1. 调节没有问题,我先想请教一下,我是必须自己配置参数,然后用ansible的方式重启TiKV吗?
  2. 图片放到最下面上传。
  3. 非常感谢。以前没有发现到这部分。:smile:

你好,

这边看 raftstore cpu 也是超过 80%,如果没有调整过 store-pool-size(默认为2),2*80% 应是瓶颈,所以先调整以上参数看是否有所改善

科普下关于 store-pool-size调优方法,另外可以关注下 performance map 中关于 raftstore cpu 的描述

image

把先这三个参数调高到2500后,就没有上面的“Server is Busy”的问题了 readpool.coprocessor.max-tasks-per-worker-normal max-tasks-per-worker-high max-tasks-per-worker-low

谢谢!

:+1:,可以整理出来,发到经验分享栏目下哦~

记录成长~

好的,周末整理一下。

:call_me_hand: