tidb数据无故丢失。

Bug 反馈
清晰准确地描述您发现的问题,提供任何可能复现问题的步骤有助于研发同学及时处理问题
问题描述:
tidb数据异常丢失。数据库版本v5.3.0。搭建之后,做过的操作,替换机房。
10/29 将一个机房的tikv下线。扩展到另外的机房。
设置tidb的参数set global tidb_replica_read=‘leader-and-follower’。程序查询报错,见帖子: 写阻塞读 key is locked (backoff or cleanup) ,有什么缓解的方法? - TiDB / 性能调优 - TiDB 的问答社区 (asktug.com)
10/31 17:36 reload重启tidb。
10/31 晚上,与测试环境数据对比,发现部分表的数据丢失。
补全之后。
11/04写入部分数据。11/05与测试环境对比,发现数据丢失。
查询所有的sql语句,没有执行这些数据的delete操作。

【 TiDB 版本】

MySQL > select tidb_version()\G
*************************** 1. row ***************************
tidb_version(): Release Version: v5.3.0
Edition: Community
Git Commit Hash: 4a1b2e9fe5b5afb1068c56de47adb07098d768d6
Git Branch: heads/refs/tags/v5.3.0
UTC Build Time: 2021-11-24 13:32:39
GoVersion: go1.16.4
Race Enabled: false
TiKV Min Version: v3.0.0-60965b006877ca7234adaced7890d7b029ed1306
Check Table Before Drop: false
1 row in set (0.00 sec)

MySQL > 

【 Bug 的影响】
影响数据正确性。
【可能的问题复现步骤】
目前暂时不知道怎么复现。
【看到的非预期行为】
数据丢失
【期望看到的行为】
写入落地的数据正常,不发生丢失。
【相关组件及具体版本】

Starting component `cluster`: /root/.tiup/components/cluster/v1.9.0/tiup-cluster display tidb-mncg
Cluster type:       tidb
Cluster name:       tidb-mncg
Cluster version:    v5.3.0
Deploy user:        root
SSH type:           builtin
Dashboard URL:      http://10.224.110.93:2379/dashboard
ID                    Role          Host            Ports        OS/Arch       Status  Data Dir                          Deploy Dir
--                    ----          ----            -----        -------       ------  --------                          ----------
10.205.116.xx:9093   alertmanager  10.205.116.xx  9093/9094    linux/x86_64  Up      /vdb/tidb-data/alertmanager-9093  /vdb/tidb-deploy/alertmanager-9093
10.205.115.xx:8300   cdc           10.205.115.xx  8300         linux/x86_64  Up      /data/cs/tidb-data/cdc-8300       /data/cs/tidb-deploy/cdc-8300
10.205.115.xx:8300   cdc           10.205.115.xx  8300         linux/x86_64  Up      /data/cs/tidb-data/cdc-8300       /data/cs/tidb-deploy/cdc-8300
10.205.116.xx:3000   grafana       10.205.116.xx  3000         linux/x86_64  Up      -                                 /vdb/tidb-deploy/grafana-3000
10.150.57.xx:2379    pd            10.150.57.xx   2379/2380    linux/x86_64  Up      /vdb/tidb-data/pd-2379            /vdb/tidb-deploy/pd-2379
10.150.57.xx:2379     pd            10.150.57.xx    2379/2380    linux/x86_64  Up      /vdb/tidb-data/pd-2379            /vdb/tidb-deploy/pd-2379
10.195.214.xx:2379   pd            10.195.214.xx  2379/2380    linux/x86_64  Up|L    /vdb/tidb-data/pd-2379            /vdb/tidb-deploy/pd-2379
10.195.214.xx:2379   pd            10.195.214.xx  2379/2380    linux/x86_64  Up      /vdb/tidb-data/pd-2379            /vdb/tidb-deploy/pd-2379
10.224.110.xx:2379    pd            10.224.110.xx   2379/2380    linux/x86_64  Up|UI   /vdb/tidb-data/pd-2379            /vdb/tidb-deploy/pd-2379
10.205.116.xx:9090   prometheus    10.205.116.xx  9090         linux/x86_64  Up      /vdb/tidb-data/prometheus-9090    /vdb/tidb-deploy/prometheus-9090
10.150.57.xx:4000      tidb          10.150.57.xx     4000/10080   linux/x86_64  Up      -                                 /vdb/tidb-deploy/tidb-4000
10.150.57.xx:4000      tidb          10.150.57.xx     4000/10080   linux/x86_64  Up      -                                 /vdb/tidb-deploy/tidb-4000
10.195.214.xx:4000   tidb          10.195.214.xx  4000/10080   linux/x86_64  Up      -                                 /vdb/tidb-deploy/tidb-4000
10.195.214.xx:4000   tidb          10.195.214.xx  4000/10080   linux/x86_64  Up      -                                 /vdb/tidb-deploy/tidb-4000
10.195.214.xx:4000   tidb          10.195.214.xx  4000/10080   linux/x86_64  Up      -                                 /vdb/tidb-deploy/tidb-4000
10.213.14.xx:4000    tidb          10.213.14.xx   4000/10080   linux/x86_64  Up      -                                 /vdb/tidb-deploy/tidb-4000
10.213.14.xx:4000    tidb          10.213.14.xx   4000/10080   linux/x86_64  Up      -                                 /vdb/tidb-deploy/tidb-4000
10.213.14.xx:4000    tidb          10.213.14.xx   4000/10080   linux/x86_64  Up      -                                 /vdb/tidb-deploy/tidb-4000
10.224.110.xx:4000    tidb          10.224.110.xx   4000/10080   linux/x86_64  Up      -                                 /vdb/tidb-deploy/tidb-4000
10.224.123.xx:4000    tidb          10.224.123.xx   4000/10080   linux/x86_64  Up      -                                 /vdb/tidb-deploy/tidb-4000
10.150.57.xx:20160    tikv          10.150.57.xx    20160/20180  linux/x86_64  Up      /vdb/tidb-data/tikv-20160         /vdb/tidb-deploy/tikv-20160
10.150.57.xx:20160    tikv          10.150.57.xx    20160/20180  linux/x86_64  Up      /vdb/tidb-data/tikv-20160         /vdb/tidb-deploy/tikv-20160
10.150.57.xx:20160    tikv          10.150.57.xx    20160/20180  linux/x86_64  Up      /vdb/tidb-data/tikv-20160         /vdb/tidb-deploy/tikv-20160
10.150.57.xx:20160    tikv          10.150.57.xx    20160/20180  linux/x86_64  Up      /vdb/tidb-data/tikv-20160         /vdb/tidb-deploy/tikv-20160
10.195.214.xx:20160   tikv          10.195.214.xx   20160/20180  linux/x86_64  Up      /vdb/tidb-data/tikv-20160         /vdb/tidb-deploy/tikv-20160
10.195.214.xx:20160  tikv          10.195.214.xx  20160/20180  linux/x86_64  Up      /vdb/tidb-data/tikv-20160         /vdb/tidb-deploy/tikv-20160
10.195.214.xx:20160  tikv          10.195.214.xx  20160/20180  linux/x86_64  Up      /vdb/tidb-data/tikv-20160         /vdb/tidb-deploy/tikv-20160
10.195.214.xx:20160  tikv          10.195.214.xx  20160/20180  linux/x86_64  Up      /vdb/tidb-data/tikv-20160         /vdb/tidb-deploy/tikv-20160
10.224.114.xx:20160  tikv          10.224.114.xx  20160/20180  linux/x86_64  Up      /vdb/tidb-data/tikv-20160         /vdb/tidb-deploy/tikv-20160
10.224.114.xx:20160  tikv          10.224.114.xx  20160/20180  linux/x86_64  Up      /vdb/tidb-data/tikv-20160         /vdb/tidb-deploy/tikv-20160
Total nodes: 30

【其他背景信息或者截图】
如集群拓扑,系统和内核版本,应用 app 信息等;如果问题跟 SQL 有关,请提供 SQL 语句和相关表的 Schema 信息;如果节点日志存在关键报错,请提供相关节点的日志内容或文件;如果一些业务敏感信息不便提供,请留下联系方式,我们与您私下沟通。