课程名称:3.7.9 Peformance Tuning - troubleshooting examples(性能调优 - 故障排查实战)
学习时长:40min
课程收获:
掌握常见的瓶颈类型,对 TiDB 中可能遇到的常见问题能进行排查。
课程内容:
1.常见的性能瓶颈
-
CPU band
TiKV 节点CPU 70%以上就已经比较高了。 -
IO band
TiKV :IOPS, IO 带宽
-
Network band
应用-TiDB ,TiDB - TiKV
2. 故障排查实例
-
CPU band
-
TiDB NUMA issue
CPU 使用率不高,但是PD TSO wait duration & SQL complie duration 高,达到100ms。
VM虚拟机部署2个NUMA node交叉导致,交叉访问导致耗时高。调整VM bind 16核CPU在一个NUMA node,耗时大幅减少。 -
TiDB CPU limitation issue
分析过程
TiDB CPU限制参数导致,调整max-procs参数
-
-
TiKV CPU limitation issue
没有索引
-
IO band (TiKV IO limitation issue)
出现write stall ,write stall 是由于前台应用的数据远远大于后台数据处理的速度导致。
这种情况没有太好的解决办法,只有考虑扩容。