operator时间很长


这个是在往tidb里导入sql文件(source data.sql方式),发现operator时间特别长,表结构如下:

问题如下:

1、请问这个时间是不是合理的时间

2、leader、region在调度期间会不会影响写入操作或者无法写入

  1. operation操作可以看到主要是在balance , 大量导入数据时,region 数量不均衡,产生了调度。
  2. 如果太慢会导入写入时,可能发现leader已经迁移,需要重试,最终能够成功。
  3. 可以参考文档,如果写入比较多,可以调低balance速率

https://pingcap.com/docs-cn/v3.0/best-practices/pd-scheduling-best-practices/#operator-状态


通过观察监控发现scheduler、rockdb的CPU负载非常高,这种问题应该调节哪些参数呢

当有大量数据灌入的时候如果调小balance会不会造成某一个节点疯狂写入导致磁盘io很高

  1. shceduler cpu 高,是因为调度多, rocksdb cpu 高,可以看一下 region 数量是否很多,如果单台机器region数量很多,可以考虑开启静默region
  2. 有可能,所以尽量在业务低峰期导入数据。