TiSpark 多任务100并发写入TiKV非常慢

[Lawrence (None)]

为提高效率，请提供以下信息，问题描述清晰能够更快得到解决：

[TiDB 版本]
tidb： 4.0.11
tispark：2.3.14

[问题描述]
一个tispark任务，读取200w数据，1.2G，给了2cores、1executor，2G executor mem，写完13min，符合要求
但是启动了50个spark任务时，给同样配置，每个spark job 给了2cores、1executor，2G executor mem，算上driver，共150cores，250G内存，100并发写入 1个表，跑不下来，全部卡死在最后两步foreachPartition。并发写50个不同表，耗时非常严重，平均约4小时
tidb集群：
tidb+pd 3台，8c 16g
tikv: 3台 16c 32g
tiflash： 3台 32c 72g
此配置的集群，写入50个不同的表，耗时4小时(最快的一个job是3h,37min，最慢的是4h,20min)，后来把tiflash的三台也扩容为kv，此时也写入50个不同的表，耗时不尽相同(最快的一个job是1h10min，最慢的3h)，想了解下为何写入这么慢，CPU未超过50%，倒是监控显示IOUtils经常100%(上面一个任务写入 也是经常100%，但是也写入很快)，是IO不行吗，如何从监控获取更多信息？

写入比较快的耗时

写入慢的耗时

tikv监控：

若提问为性能优化、故障排查类问题，请下载脚本运行。终端输出的打印结果，请务必全选并复制粘贴上传。

[Lawrence (None)]

node-exporter一张，overview一张，trouble-shooting一张

[Lawrence (None)]

KV 照片太大了，怎么上传呢

[GangShen]

https://metricstool.pingcap.com/

导出监控步骤：

1. 打开监控面板，选择监控时间
2. 打开 Grafana 监控面板（先按 d 再按 E 可将所有 Rows 的 Panels 打开，需等待一段时间待页面加载完成）
3. https://metricstool.pingcap.com/ 使用工具导出 Grafana 数据为快照

[Lawrence (None)]

@GangShen

控面板，选择监控时

udp-tidb-TiKV-Details_2021-04-16T03_41_31.661Z.json (6.3 MB)

[Lawrence (None)]

这个是tikv details的关键部分，都展开太大了，导不出来，还需要哪里的监控我给您导出下，我目前怀疑是IO不行，看到append /apply /commit log 耗时严重，很多都是100ms以上的，再看compaction耗时，很多都是几分钟的。。 所以我应该怎么去查IO能力，以及如果要改善IO，应该大致提高哪些参数

[GangShen]

可以参考下写入慢的排查流程文档看下：TiDB 写入慢流程排查系列（一）— 前言

[Lawrence (None)]

你们的文章我能看的都看了，都排查了，现在就是IO这块了，主要是不知道多少算高多少算低，怎么调

[GangShen]

可以看 node_exporter 监控中对应 tikv 实例的 disk 监控，看下是不是已经达到磁盘瓶颈了，如果达到磁盘瓶颈的话，可以考虑升级磁盘性能或者扩容缓解磁盘压力。

[Lawrence (None)]

这个是不是就算达到瓶颈了

[GangShen]

这个磁盘单次 IO latency 都已经到上百毫秒了，基本是属于磁盘到瓶颈了。
一般正常的话，需要磁盘 latency 在微妙级别。