tikv每天固定时间点发生重启问题

buptdream · 2021 年1 月 15 日 10:58

版本v4.0.9
一共6台tikv节点，每天固定时间点异常重启，没有oom信息，

GangShen · 2021 年1 月 15 日 13:02

buptdream · 2021 年1 月 15 日 13:42

是6台同时重启。

buptdream · 2021 年1 月 16 日 03:47

帮忙看看

Lucien · 2021 年1 月 16 日 13:51

@Hacker_cGg4gt9F

按照 GangShen 反馈的提供一下详细的 TiKV log

buptdream · 2021 年1 月 18 日 01:35

tikv的log中，就是普通的重启过程，没有想过的明显错误

buptdream · 2021 年1 月 18 日 01:36

怀疑和之前部署过其他版本，然后又部署4.0.9有关系

Lucien · 2021 年1 月 18 日 02:08

应该没有关系，可以看看没啥每天固定时间会重启。有没有定时任务，干掉服务

buptdream · 2021 年1 月 18 日 02:15

自动出现tikv重启的点，可以之前部署的时间点是一样的，我们也排查了想过的定时任务情况，目前没有发现

GangShen · 2021 年1 月 18 日 03:02

TiKV 日志中有 panic 的信息，但是图片不完整，无法看到完整的日志信息，建议上传一下完整的 tikv.log 日志文本文件，文件太大的话，可以压缩一下，文本的压缩率还是挺高的。

另外可以看下 tikv_stderr.log 文件中是否有信息，有信息的话，可以一起上传一下。

buptdream · 2021 年1 月 18 日 03:37

已经上传

GangShen · 2021 年1 月 18 日 05:54

麻烦确认一下是否是 NIC 没有 MAC 地址，通过堆栈信息看的话是 https://github.com/tikv/tikv/pull/7889 这个 PR 修复的问题

buptdream · 2021 年1 月 18 日 06:07

有mac地址

GangShen · 2021 年1 月 18 日 06:12

可以提供一下 ifconfig 命令的输出结果看下么？

GangShen · 2021 年1 月 21 日 05:53

看问题堆栈与这个 issue 中的描述一致。

访问 dashboard 页面会导致 tikv 重启吗？
select * from CLUSTER_HARDWARE where device_type = ‘net’ and name=‘mac’; 会导致 tikv 重启么？如果不会重启的话，可以提供一下 SQL 执行结果看下。

GangShen · 2021 年1 月 25 日 07:35

关于为什么是每天固定时间点发生重启应该是因为遥测功能导致的，可以考虑先关闭遥测功能：
https://docs.pingcap.com/zh/tidb/stable/telemetry#遥测

buptdream · 2021 年1 月 25 日 09:54

感谢，我们也是如此解决的。

GangShen · 2021 年1 月 25 日 09:55

system · 2022 年10 月 31 日 19:21

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。