【 TiDB 使用环境】生产环境
【遇到的问题】集群大量响应变慢,出现tikv节点下线,15点30重启服务器。
查询tidb日志,大量告警
[WARN] [pd.go:131] [“get timestamp too slow”] [“cost time”=33.477587ms]
查询pd leader日志,没有明显报错
查询tikv日志,大量报错
[ERROR] [peer.rs:3488] [“failed to send extra message”] [err_code=KV:Raftstore:Transport] [err=Transport(Full)] [target=“id: 5487695 store_id: 4”] [peer_id=5487696] [region_id=5487693] [type=MsgHibernateResponse]
同时,网络带宽持续偏高