tidb某一个节点io util利用率很高

张小凉1 · 2023 年11 月 3 日 03:06

【 TiDB 使用环境】生产环境
【 TiDB 版本】v7.1.2
【遇到的问题：问题现象及影响】突然tidb某一个节点io util利用率很高
【资源配置】集群共3个节点，每个节点都部署了1个pd，1个kv，1个tidb-server
【附件：截图/日志/监控】
企业微信截图_16989807706621

像风一样的男子 · 2023 年11 月 3 日 03:09

一般tidb没有读写的，看下是不是目录下日志暴涨了

h5n1 · 2023 年11 月 3 日 03:10

node expoter 或disk performance 看哪个磁盘高？部署了哪个组件

张小凉1 · 2023 年11 月 3 日 03:13

比其他两个节点多个大概9个日志文件

张小凉1 · 2023 年11 月 3 日 03:14

这个节点至挂了一个nvme的盘，部署了1个pd，1个tidb-server，1个kv

h5n1 · 2023 年11 月 3 日 03:15

截图能看看是什么时间突增的吗？你看下tikv detail - thread cpu → unified pool 有没有增高

张小凉1 · 2023 年11 月 3 日 03:18

应该有一段时间了，找不到突然高的时间点了
企业微信截图_16989814251233

h5n1 · 2023 年11 月 3 日 03:21

有导出、备份作业？

张小凉1 · 2023 年11 月 3 日 03:22

有。确实连的这一个节点。

张小凉1 · 2023 年11 月 3 日 03:22

但是，是定时执行的。

Fly-bird · 2023 年11 月 3 日 05:13

看看是哪个服务占用的cpu高

像风一样的男子 · 2023 年11 月 3 日 05:16

看错了我以为是tidb节点的，原来是混合部署的

张小凉1 · 2023 年11 月 3 日 05:42

tidb-server占用较高

tidb菜鸟一只 · 2023 年11 月 3 日 06:30

看看是不是自动收集统计信息任务导致，搜一下这个tidb-server的日志里面auto analyze日志

zhanggame1 · 2023 年11 月 3 日 06:55

混合部署的化，可以用iotop命令看看具体是哪个组件使用磁盘多，IO的具体数值

张小凉1 · 2023 年11 月 3 日 08:48

tikv-server写日志tikv.log。多数是几十K/s，高的话100多K/s。

zhanggame1 · 2023 年11 月 3 日 09:07

这是正常状态而不是出问题时候吧

有猫万事足 · 2023 年11 月 3 日 09:16

lightning导入？不得不直连一个节点的情况？

张小凉1 · 2023 年11 月 6 日 02:06

不是lightning导入

有猫万事足 · 2023 年11 月 7 日 02:53

看topsql界面，看看在执行什么。
https://docs.pingcap.com/zh/tidb/stable/top-sql#访问页面