数据库恢复问题

🪐 TiDB 技术问题 备份&数据迁移
1

/data/tools/br restore point --pd “127.0.0.1:2379” \

–with-sys-table=false
–storage=‘/data/tidb_backup/log_10_0_74_222’
–full-backup-storage=‘/data/tidb_backup/full_10_0_74_222_15’
–restored-ts ‘2024-08-04 13:00:00+0800’
Detail BR log in /tmp/br.log.2024-08-05T15.02.09+0800
Full Restore <-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------> 100.00%
[2024/08/05 15:29:13.305 +08:00] [INFO] [collector.go:77] [“Full Restore success summary”] [total-ranges=34604] [ranges-succeed=34604] [ranges-failed=0] [split-region=14m5.745981239s] [restore-ranges=23139] [total-take=27m3.375509915s] [BackupTS=451592871402536964] [RestoreTS=451632517976424455] [total-kv=11419537399] [total-kv-size=1.971TB] [average-speed=1.214GB/s] [restore-data-size(after-compressed)=302.9GB] [Size=302913841210]
Restore Meta Files <-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------> 100.00%
Restore KV Files <-----------|…> 5.29%{“level”:“warn”,“ts”:“2024-08-05T15:30:38.612+0800”,“logger”:“etcd-client”,“caller”:“v3@v3.5.2/retry_interceptor.go:62”,“msg”:“retrying of unary invoker failed”,“target”:“etcd-endpoints://0xc000eace00/127.0.0.1:2379”,“attempt”:0,“error”:“rpc error: code = DeadlineExceeded desc = context deadline exceeded”}
Restore KV Files <-----------------------------------/…> 15.97%{“level”:“warn”,“ts”:“2024-08-05T15:31:39.882+0800”,“logger”:“etcd-client”,“caller”:“v3@v3.5.2/retry_interceptor.go:62”,“msg”:“retrying of unary invoker failed”,“target”:“etcd-endpoints://0xc000eace00/127.0.0.1:2379”,“attempt”:0,“error”:“rpc error: code = Unavailable desc = keepalive ping failed to receive ACK within timeout”}
Restore KV Files <-----------------------------------/…> 15.99%{“level”:“warn”,“ts”:“2024-08-05T15:31:53.622+0800”,“logger”:“etcd-client”,“caller”:“v3@v3.5.2/retry_interceptor.go:62”,“msg”:“retrying of unary invoker failed”,“target”:“etcd-endpoints://0xc000eace00/127.0.0.1:2379”,“attempt”:0,“error”:“rpc error: code = Unavailable desc = keepalive ping failed to receive ACK within timeout”}
{“level”:“warn”,“ts”:“2024-08-05T15:31:55.198+0800”,“logger”:“etcd-client”,“caller”:“v3@v3.5.2/retry_interceptor.go:62”,“msg”:“retrying of unary invoker failed”,“target”:“etcd-endpoints://0xc000eace00/127.0.0.1:2379”,“attempt”:1,“error”:“rpc error: code = DeadlineExceeded desc = context deadline exceeded”}
Restore KV Files <-----------------------------------|…> 16.00%{“level”:“warn”,“ts”:“2024-08-05T15:32:02.611+0800”,“logger”:“etcd-client”,“caller”:“v3@v3.5.2/retry_interceptor.go:62”,“msg”:“retrying of unary invoker failed”,“target”:“etcd-endpoints://0xc000eace00/127.0.0.1:2379”,“attempt”:0,“error”:“rpc error: code = DeadlineExceeded desc = context deadline exceeded”}
Restore KV Files <-----------------------------------.…> 16.00%{“level”:“warn”,“ts”:“2024-08-05T15:32:09.931+0800”,“logger”:“etcd-client”,“caller”:“v3@v3.5.2/retry_interceptor.go:62”,“msg”:“retrying of unary invoker failed”,“target”:“etcd-endpoints://0xc000eace00/127.0.0.1:2379”,“attempt”:0,“error”:“rpc error: code = DeadlineExceeded desc = context deadline exceeded”}

问下，这是什么问题？

2

“level”:“warn” 是说警告级别？然后重试吗？

3

多一些文字说明，什么情况下，做了什么操作？
按照问题模板描述一下？
【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题：问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件：截图/日志/监控】

4

提示连接超时，我看是全量恢复完成后进行增量的时候报错了，是日志有中断吗？

5

这已经是完整的日志了吗？ 从当前提供的日志看是超时了在重试，可以检查下问题时间点下游集群状态是否是正常的。

6

BR 工具和 PD 节点之间的网络连接是正常的吗？另外，BR 工具的版本与 TiDB 集群的版本是否兼容

7

已经是全部信息了，是说打印在屏幕上的输出。

8

br.log.2024-08-05T15.02.zip (4.5 MB)
这是日志，帮忙看下

9

我是7.1，装了一个tikv节点恢复（多节点的恢复空间太大）
备份文件300G pitr文件大概50G
memory-usage-limit
storage.block-cache.capacity

后面我调低了内存设置，感觉是内存过高的，导致的问题

10

[127.0.0.1] [(none)] 18:24:59 >show config where name like ‘%memory-usage-limit%’;
±-----±----------------±-------------------±-------------+
| Type | Instance | Name | Value |
±-----±----------------±-------------------±-------------+
| tikv | 127.0.0.1:20160 | memory-usage-limit | 24942127786B |
±-----±----------------±-------------------±-------------+
1 row in set (0.04 sec)

[127.0.0.1] [(none)] 18:25:01 >set config “127.0.0.1:20160” memory-usage-limit=1810241024*1024;
Query OK, 0 rows affected, 1 warning (0.01 sec)

[127.0.0.1] [(none)] 18:25:12 >show warnings;
±--------±-----±----------------------------------------------------------------------------------------------------------------------+
| Level | Code | Message |
±--------±-----±----------------------------------------------------------------------------------------------------------------------+
| Warning | 1105 | bad request to http://127.0.0.1:20180/config: failed to update, error: “config memory_usage_limit can not be changed” |

这个参数好像也没有修改成功？ 是需要 edit-config 然后reload修改吗？从哪里可以看到参数是可以online修改，还是必须使用edit-config修改

11

image
image2232×152 49.7 KB

从日志看是恢复成功了的，而且也恢复到你指定的时间点了，是不是你前端显示超时退出了？

12

不是所有的都支持 set config 修改的，具体的支持列表可以看这个链接： https://docs.pingcap.com/zh/tidb/v7.5/dynamic-config

13

:clap: 好

14

可能是内存的问题，限制好内存，暂时恢复没有报错了

15

看看日志中，是否有中断信息。

16

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。