tiflash 副本不可用，同步数据进度为0

lmbby · 2020 年12 月 31 日 08:19

pd 中确实有副本状态为 down 的 regin 这个直接移除会有影响不？

PD 认为有一些 region 已经在 TiFlash 上存在 peer，但是实际上 TiFlash 上没有该 peer，PD也一直没有把新的数据调度到 TiFlash

为啥会出现这个情况呢？我前后两次部署 tiflash 设置数据表同步都出现了

JaySon-Huang · 2020 年12 月 31 日 08:33

直接移除 store_id 为13595 的 down_peer 即可，会自动重新补充 region 的 peer。

第一次部署成功之后，同步数据就出现卡住的问题暂时无法确定。
12/25 强制下线时，3~6的表现比较奇怪，我们内部会尝试复现这个问题确定一下。

强制下线 TiFlash 节点之前，需要在确保 TiFlash 集群剩余节点数大于等于所有数据表的最大副本数，否则需要修改相关表的 TiFlash 副本数。或者在强制下线之后，手动在 PD 中清除同步规则。猜测目前的情况是强制下线时遗留了一些问题导致的。

JaySon-Huang · 2020 年12 月 31 日 08:34

可以确认下您目前使用的 TiUP 版本吗？tiup --version

lmbby · 2020 年12 月 31 日 08:37

lmbby · 2020 年12 月 31 日 08:43

还需要请教一些问题：
1 同步速度与哪些配置有关系？数据量大的表（6千万左右）同步超级慢呀
2 集群中只有一个 tiflash , 设置表的副本都为1，多张表的同步会阻塞吗？

3 又出现了好多副本状态为 down 的 region 呢

lmbby · 2020 年12 月 31 日 08:55

lmbby · 2020 年12 月 31 日 09:03

老师，我重新下线，手动清除一下 PD 的同步规则（之前的下线没有执行这一步），再尝试重来一次吧

有问题我再来反馈

您那边若能重现也麻烦给我指导一下原因

非常感谢！！

lmbby · 2021 年1 月 4 日 03:46

老师，我这边重新部署了 tiflash
部分数据表可以很快同步完成（数据量级相对较小：百万及以下i），部分数据表同步进度一直无法达到 1（数据量级相对较大：千万）

pd 中无 down-peer

请问该如何排查？

JaySon-Huang · 2021 年1 月 4 日 07:01

请帮忙查看下 tiflash_cluster_manager.log 日志中 id 1302 的行，flash_region_count 的数值是有在增长还是停滞了？

另外可以截图下 Grafana 中的 TiFlash-Summary 看板，Raft 中 “Applying snapshots Count”, “Snapshot Predecode Duration”, “Snapshot Flush Duration” 几个图

lmbby · 2021 年1 月 4 日 07:47

flash_region_count 的数值一直在增长

JaySon-Huang · 2021 年1 月 4 日 08:04

看日志和监控，这个表有3个 Region 需要同步到 TiFlash。其中2个已经完成了，还有1个。但是最近1小时内都没有副本调度操作。

麻烦按照以下步骤，先确认下各个组件内的 Region 信息吧

先在 TiDB 中使用 SHOW TABLE <table_name> REGIONS; 确认下 table_id 为 1302 的表存在哪三个 REGION_ID (START_KEY 以 t_1302_r 为前缀的)
使用 tiup ctl pd -u http://<pd-ip>:<pd-port> region <region_id> ，分别确认 Region 在 PD 中的 peer 信息。
echo "DBGInvoke dump_all_region(1302,true)" | curl "http://<tiflash-ip>:<tiflash-http-port>/?query=" --data-binary @-，确认下在 TiFlash 节点中的 Region 信息