监控告警 TiDB monitor time_jump_back error

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】
收到报警:
TiDB monitor time_jump_back error
查看官方文档:
1715830091036
里面的指标tidb_monitor_time_jump_back_total是从tidb server的状态端口http://10.10.10.10:10080/metrics获取
问题:
tidb_monitor_time_jump_back_total 是怎么计算出来的?
回退时间差距多少这个值才会变化?

蹲一手

TiDB 监控系统中出现“时间跳回错误”(time jump back error)通常意味着监控系统检测到某个组件的时间回退了,即监控数据采集时的时间戳比之前的时间戳更早。这可能是因为时钟偏差、时间同步问题或系统时间被手动调整导致的。

解决方法:

  1. 检查服务器时间:确保所有 TiDB 组件所在的服务器时间是准确的,可以使用 ntpdatechrony 等时间同步服务来校准时间。

  2. 检查时钟偏差:如果服务器之间的时钟存在偏差,需要检查并解决时钟偏差问题。

  3. 查看日志:检查 TiDB 相关组件的日志文件,查找是否有更详细的错误信息帮助诊断问题。

  4. 重启服务:如果是暂时的时间不同步问题,重启 TiDB 相关服务可能会恢复时间同步。

  5. 更新监控系统配置:如果是监控系统配置问题,更新相关配置以确保时间戳的正确采集