TiDB Bug List=

🪐 TiDB 技术问题
12

bug-5687: [Critical bug] TiFlash 在开启 Profiling 以后偶发崩溃

产品 TiDB
组件 TiFlash
版本 6.1.0
分类 Troubleshoot
标签 KnowIssue
来源

Issue

TiFlash 在运行中偶尔出现某些系统调用（诸如 write()）返回非法的 errno，由于程序无法处理非法 errno，所以最终会导致进程崩溃。由于仅在开启 Profiling 期间复现出该问题，因此怀疑与 Profiling 相关。

Github issue: https://github.com/pingcap/tiflash/issues/5687

Diagnostic Steps

  1. 观察 TiFlash 崩溃时的日志和 stack trace，判断它们是否是非法 errno 导致的。
  2. 判断当前是否存在 Profiling 动作（包括 Continuous Profiling，Manual Profiling，调用 /debug/pprof/profile 接口）

Workaround

在 TiDB Dashboard 关闭 Continuous Profiling，并且暂时不要在对 TiFlash 进行 Manual Profiling。

NOTE: 目前只有 v6.1.0 和 v6.2.0 版本默认开启 Continuous Profiling，我们从 v6.1.1 版本开始默认关闭 Continuous Profiling。

1 个赞