tiflash表同步进度一直为0

🪐 TiDB 技术问题
1

【 TiDB 使用环境】
【概述】场景+问题概述
【背景】做过哪些操作
【现象】 执行ALTER TABLE table_name SET TIFLASH REPLICA 1；后 progress 一直为0
【业务影响】
【TiDB 版本】 4.0.8
【附件】
tiflash_error.log (5.5 MB) 1.txt (11.9 KB)

  1. TiUP Cluster Display 信息

  2. TiUP Cluster Edit Config 信息

  3. TiDB- Overview 监控

  • 对应模块日志（包含问题前后1小时日志）
3

什么时间执行的操作

4

大概在 2021-09-15 14:00:00

5

table id 发一下 大概多大的表

6

tiflash log 只是其中一台的吧

7

大表小表都是这样，最小的20条记录，也一直是0
log只是其中的一台

8

麻烦在确认下是只是这个表不行 还是所有表都不行？

9

所有表，tiflash已经跑了有一段时间了，之前没有这个问题

10

ALTER TABLE table_name SET TIFLASH REPLICA 4；然后再把日志抓一下

11

这是5个节点的日志：
2021.09.15 15:05:06.390384 [ 23 ] pingcap.tikv: region {3429817,1101,38} find error: peer is not leader for region 3429817, leader may Some(id: 3429821 store_id: 5)
2021.09.15 15:05:07.941415 [ 25 ] pingcap.tikv: region {3429817,1101,38} find error: peer is not leader for region 3429817, leader may Some(id: 3429821 store_id: 5)
2021.09.15 15:05:01.649562 [ 25 ] pingcap.tikv: region {3429817,1101,38} find error: peer is not leader for region 3429817, leader may Some(id: 3429821 store_id: 5)
2021.09.15 15:04:58.828139 [ 21 ] pingcap.tikv: region {3429817,1101,38} find error: peer is not leader for region 3429817, leader may Some(id: 3429821 store_id: 5)
2021.09.15 15:05:05.971086 [ 35 ] pingcap.tikv: region {3429817,1101,38} find error: peer is not leader for region 3429817, leader may Some(id: 3429821 store_id: 5)

12

region 3429817 检查下状态

13

replication.max-replicas 这个参数是多少

14

region状态是这么看吗？这个表的region id 好像不是3429817

image
image1497×138 7.75 KB

“max-replicas”: 3

15

replication.enable-placement-rules 是否启动了？

16

启动了

» config show replication
{
“max-replicas”: 3,
“location-labels”: “zone,rack,host”,
“strictly-match-label”: “false”,
“enable-placement-rules”: “true”
}

17

通过 pd-ctl -u http://<pd-ip>:<pd-port> config placement-rules show 确认 group: default 中 count 参数值。

18

{
“group_id”: “pd”,
“id”: “default”,
“start_key”: “”,
“end_key”: “”,
“role”: “voter”,
“count”: 5
},

19

最近有做过什么修改吗

20

没做过什么修改

21

查询一下是否有ddl一致在执行