tikv产生大量日志

realcp1018 · 2021 年11 月 26 日 08:04

环境：
tikv 4.0.8版本 insert qps约2.5K左右
问题描述：
最近磁盘空间有告警还未清理数据，发现所有节点的tikv都在大量产生日志：

集群性能目前正常，打包了一个tikv的日志麻烦各位大佬帮忙看下日志量如此之多的原因。
目前怀疑是磁盘空间不足以及插入时kv 1062错误过多(程序侧已处理不影响使用)。
tikv.log.tar.gz (31.5 MB)

realcp1018 · 2021 年11 月 26 日 08:13

补一个failed query opm截图：

xfworld · 2021 年11 月 26 日 09:10

是不是有 drop table 的操作，我看有 back off 的调度
数据冲突比较大，很多锁冲突（这个需要你在业务端排查了）

[2021/11/26 15:28:06.427 +08:00] [WARN] [endpoint.rs:527] [error-response] [err=“Key is locked (will clean up) primary_lock: 74800000000000007A5F6980000000000000080003800000027A6C90EB lock_version: 429368713329508625 key: 74800000000000007A5F7280000001BDF56080 lock_ttl: 26909 txn_size: 5”]
[2021/11/26 15:28:06.427 +08:00] [WARN] [endpoint.rs:527] [error-response] [err=“Key is locked (will clean up) primary_lock: 74800000000000007A5F6980000000000000080003800000027A6C90EB lock_version: 429368713329508625 key: 74800000000000007A5F7280000001BDFB5860 lock_ttl: 26909 txn_size: 8”]
[2021/11/26 15:28:06.439 +08:00] [WARN] [endpoint.rs:527] [error-response] [err=“Key is locked (will clean up) primary_lock: 74800000000000007A5F6980000000000000080003800000027A6C90EB lock_version: 429368713329508625 key: 74800000000000007A5F7280000001BEC0C057 lock_ttl: 26909 txn_size: 13”]

realcp1018 · 2021 年11 月 26 日 09:24

Hi xfworld，感谢回复。
目前集群只有一个对外账户，此账户无drop权限只有正常的增删改查权限。目前除程序delete外基本不会有数据清理操作。backoff的监控截图如下，锁冲突确实很多，但目前对业务影响不大。

我们近期清理一下数据，然后再观察下日志量，排除掉磁盘空间的原因。

caiyfc · 2021 年11 月 26 日 09:54

1062是唯一键冲突，从监控看，冲突还是比较多的，这个需要看看是不是插入数据的时候冲突了。大量冲突导致日志暴增是有可能的。

system · 2022 年10 月 31 日 19:22

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。