br 备份报错 unexcepted error, stop to retry

Hacker_ojLJ8Ndr · 2022 年10 月 9 日 11:30

【 TiDB 版本】
6.1.1
【遇到的问题】
备份偶尔失败
【复现路径】
备份单个数据库 br backup db …
【问题现象及影响】
【附件】
备份日志报错：

tidb狂热爱好者 · 2022 年10 月 9 日 12:10

报错很明显锁表了

Hacker_ojLJ8Ndr · 2022 年10 月 9 日 12:25

看到 txnLockFast ，但是这种情况是否可以通过 br 来处理？或者有无参数可以调整 backoffer.maxSleep

tidb狂热爱好者 · 2022 年10 月 20 日 17:15

这个应该能修复。把读写锁停止就可以备份了

Hacker_ojLJ8Ndr · 2022 年10 月 24 日 09:08

查了出现这个报错的时间段的 tikv 日志，涉及 lock 的表没有备份 db 下的，但是有 mysql 下的 stats_histograms 和 stats_meta

Lucien-卢西恩 · 2022 年10 月 25 日 09:21

看一下 Lockfast 的 TiKV 日志主要以什么报错？具体的 region 和 key 是哪些？

Hacker_ojLJ8Ndr · 2022 年10 月 25 日 09:37

这个是今天全备的日志：

tikv 日志中搜索 Lockfast 没有查询到报错

tikv 日志中搜索 lock，报错如下：

16:16:24 的 err="Key is locked (will clean up) 的 key 解码后结果如下：

Lucien-卢西恩 · 2022 年10 月 28 日 06:48

查询一下 table_id=21 的表和 BR 、业务逻辑的关系是什么。是否可以错峰备份，减少查询的瞬间冲突的情况。

Hacker_ojLJ8Ndr · 2022 年10 月 31 日 06:38

table_id = 21 是 mysql 库下的系统表，不在我的备份范围内，除了 id 为 21 的系统表外，有时还有 id 为 23 的系统表

Hacker_ojLJ8Ndr · 2022 年11 月 15 日 06:52

最近还在报错，发现每一次备份失败，备份日志报错 txnLockFast 后，tikv 日志里都有相似的报错： [store.rs:2665] [“broadcasting unreachable”] [unreachable_store_id=50288811] [store_id=8]，但是 tikv 的服务是正常的，这个有关联吗？

Hacker_ojLJ8Ndr · 2022 年11 月 15 日 08:23

关联新帖：BR 备份报错 txnLockFast

Aric · 2022 年11 月 15 日 10:12

最好有 clinic，在新帖子中也提供了一些方法，可以看看。

Hacker_ojLJ8Ndr · 2022 年11 月 17 日 02:39

在新帖中放了 clinic 的链接，辛苦帮忙看看 Clinic Service