Bug 反馈
清晰准确地描述您发现的问题,提供任何可能复现问题的步骤有助于研发同学及时处理问题
问题描述:
tidb数据异常丢失。数据库版本v5.3.0。搭建之后,做过的操作,替换机房。
10/29 将一个机房的tikv下线。扩展到另外的机房。
设置tidb的参数set global tidb_replica_read=‘leader-and-follower’。程序查询报错,见帖子: 写阻塞读 key is locked (backoff or cleanup) ,有什么缓解的方法? - TiDB / 性能调优 - TiDB 的问答社区 (asktug.com)
10/31 17:36 reload重启tidb。
10/31 晚上,与测试环境数据对比,发现部分表的数据丢失。
补全之后。
11/04写入部分数据。11/05与测试环境对比,发现数据丢失。
查询所有的sql语句,没有执行这些数据的delete操作。
【 TiDB 版本】
MySQL > select tidb_version()\G
*************************** 1. row ***************************
tidb_version(): Release Version: v5.3.0
Edition: Community
Git Commit Hash: 4a1b2e9fe5b5afb1068c56de47adb07098d768d6
Git Branch: heads/refs/tags/v5.3.0
UTC Build Time: 2021-11-24 13:32:39
GoVersion: go1.16.4
Race Enabled: false
TiKV Min Version: v3.0.0-60965b006877ca7234adaced7890d7b029ed1306
Check Table Before Drop: false
1 row in set (0.00 sec)
MySQL >
【 Bug 的影响】
影响数据正确性。
【可能的问题复现步骤】
目前暂时不知道怎么复现。
【看到的非预期行为】
数据丢失
【期望看到的行为】
写入落地的数据正常,不发生丢失。
【相关组件及具体版本】
Starting component `cluster`: /root/.tiup/components/cluster/v1.9.0/tiup-cluster display tidb-mncg
Cluster type: tidb
Cluster name: tidb-mncg
Cluster version: v5.3.0
Deploy user: root
SSH type: builtin
Dashboard URL: http://10.224.110.93:2379/dashboard
ID Role Host Ports OS/Arch Status Data Dir Deploy Dir
-- ---- ---- ----- ------- ------ -------- ----------
10.205.116.xx:9093 alertmanager 10.205.116.xx 9093/9094 linux/x86_64 Up /vdb/tidb-data/alertmanager-9093 /vdb/tidb-deploy/alertmanager-9093
10.205.115.xx:8300 cdc 10.205.115.xx 8300 linux/x86_64 Up /data/cs/tidb-data/cdc-8300 /data/cs/tidb-deploy/cdc-8300
10.205.115.xx:8300 cdc 10.205.115.xx 8300 linux/x86_64 Up /data/cs/tidb-data/cdc-8300 /data/cs/tidb-deploy/cdc-8300
10.205.116.xx:3000 grafana 10.205.116.xx 3000 linux/x86_64 Up - /vdb/tidb-deploy/grafana-3000
10.150.57.xx:2379 pd 10.150.57.xx 2379/2380 linux/x86_64 Up /vdb/tidb-data/pd-2379 /vdb/tidb-deploy/pd-2379
10.150.57.xx:2379 pd 10.150.57.xx 2379/2380 linux/x86_64 Up /vdb/tidb-data/pd-2379 /vdb/tidb-deploy/pd-2379
10.195.214.xx:2379 pd 10.195.214.xx 2379/2380 linux/x86_64 Up|L /vdb/tidb-data/pd-2379 /vdb/tidb-deploy/pd-2379
10.195.214.xx:2379 pd 10.195.214.xx 2379/2380 linux/x86_64 Up /vdb/tidb-data/pd-2379 /vdb/tidb-deploy/pd-2379
10.224.110.xx:2379 pd 10.224.110.xx 2379/2380 linux/x86_64 Up|UI /vdb/tidb-data/pd-2379 /vdb/tidb-deploy/pd-2379
10.205.116.xx:9090 prometheus 10.205.116.xx 9090 linux/x86_64 Up /vdb/tidb-data/prometheus-9090 /vdb/tidb-deploy/prometheus-9090
10.150.57.xx:4000 tidb 10.150.57.xx 4000/10080 linux/x86_64 Up - /vdb/tidb-deploy/tidb-4000
10.150.57.xx:4000 tidb 10.150.57.xx 4000/10080 linux/x86_64 Up - /vdb/tidb-deploy/tidb-4000
10.195.214.xx:4000 tidb 10.195.214.xx 4000/10080 linux/x86_64 Up - /vdb/tidb-deploy/tidb-4000
10.195.214.xx:4000 tidb 10.195.214.xx 4000/10080 linux/x86_64 Up - /vdb/tidb-deploy/tidb-4000
10.195.214.xx:4000 tidb 10.195.214.xx 4000/10080 linux/x86_64 Up - /vdb/tidb-deploy/tidb-4000
10.213.14.xx:4000 tidb 10.213.14.xx 4000/10080 linux/x86_64 Up - /vdb/tidb-deploy/tidb-4000
10.213.14.xx:4000 tidb 10.213.14.xx 4000/10080 linux/x86_64 Up - /vdb/tidb-deploy/tidb-4000
10.213.14.xx:4000 tidb 10.213.14.xx 4000/10080 linux/x86_64 Up - /vdb/tidb-deploy/tidb-4000
10.224.110.xx:4000 tidb 10.224.110.xx 4000/10080 linux/x86_64 Up - /vdb/tidb-deploy/tidb-4000
10.224.123.xx:4000 tidb 10.224.123.xx 4000/10080 linux/x86_64 Up - /vdb/tidb-deploy/tidb-4000
10.150.57.xx:20160 tikv 10.150.57.xx 20160/20180 linux/x86_64 Up /vdb/tidb-data/tikv-20160 /vdb/tidb-deploy/tikv-20160
10.150.57.xx:20160 tikv 10.150.57.xx 20160/20180 linux/x86_64 Up /vdb/tidb-data/tikv-20160 /vdb/tidb-deploy/tikv-20160
10.150.57.xx:20160 tikv 10.150.57.xx 20160/20180 linux/x86_64 Up /vdb/tidb-data/tikv-20160 /vdb/tidb-deploy/tikv-20160
10.150.57.xx:20160 tikv 10.150.57.xx 20160/20180 linux/x86_64 Up /vdb/tidb-data/tikv-20160 /vdb/tidb-deploy/tikv-20160
10.195.214.xx:20160 tikv 10.195.214.xx 20160/20180 linux/x86_64 Up /vdb/tidb-data/tikv-20160 /vdb/tidb-deploy/tikv-20160
10.195.214.xx:20160 tikv 10.195.214.xx 20160/20180 linux/x86_64 Up /vdb/tidb-data/tikv-20160 /vdb/tidb-deploy/tikv-20160
10.195.214.xx:20160 tikv 10.195.214.xx 20160/20180 linux/x86_64 Up /vdb/tidb-data/tikv-20160 /vdb/tidb-deploy/tikv-20160
10.195.214.xx:20160 tikv 10.195.214.xx 20160/20180 linux/x86_64 Up /vdb/tidb-data/tikv-20160 /vdb/tidb-deploy/tikv-20160
10.224.114.xx:20160 tikv 10.224.114.xx 20160/20180 linux/x86_64 Up /vdb/tidb-data/tikv-20160 /vdb/tidb-deploy/tikv-20160
10.224.114.xx:20160 tikv 10.224.114.xx 20160/20180 linux/x86_64 Up /vdb/tidb-data/tikv-20160 /vdb/tidb-deploy/tikv-20160
Total nodes: 30
【其他背景信息或者截图】
如集群拓扑,系统和内核版本,应用 app 信息等;如果问题跟 SQL 有关,请提供 SQL 语句和相关表的 Schema 信息;如果节点日志存在关键报错,请提供相关节点的日志内容或文件;如果一些业务敏感信息不便提供,请留下联系方式,我们与您私下沟通。