TiKV append/apply/commit log 耗时严重,compaction更是长达几分钟

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:

【TiDB 版本】
4.0.11
【问题描述】
50个tispark 任务,每个2并发,1.2G数据,共100并发,60G数据,分别写入50个表,看到foreachPartition中几个task耗时严重,看监控compaction部分耗时严重



若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。udp-tidb-TiKV-Details_2021-04-16T03_41_31.661Z.json (6.3 MB)

可以参考下写入慢的排查流程文档看下:TiDB 写入慢流程排查系列(一)— 前言