bug-5687: [Critical bug] TiFlash 在开启 Profiling 以后偶发崩溃
| 产品 | TiDB |
|---|---|
| 组件 | TiFlash |
| 版本 | 6.1.0 |
| 分类 | Troubleshoot |
| 标签 | KnowIssue |
| 来源 |
Issue
TiFlash 在运行中偶尔出现某些系统调用（诸如 write()）返回非法的 errno，由于程序无法处理非法 errno，所以最终会导致进程崩溃。由于仅在开启 Profiling 期间复现出该问题，因此怀疑与 Profiling 相关。
Github issue: https://github.com/pingcap/tiflash/issues/5687
Diagnostic Steps
- 观察 TiFlash 崩溃时的日志和 stack trace，判断它们是否是非法 errno 导致的。
- 判断当前是否存在 Profiling 动作（包括 Continuous Profiling，Manual Profiling，调用 /debug/pprof/profile 接口）
Workaround
在 TiDB Dashboard 关闭 Continuous Profiling，并且暂时不要在对 TiFlash 进行 Manual Profiling。
NOTE: 目前只有 v6.1.0 和 v6.2.0 版本默认开启 Continuous Profiling，我们从 v6.1.1 版本开始默认关闭 Continuous Profiling。