Regions are not fully healthy: 1 pending-peer

spc_monkey · 2022 年3 月 3 日 10:22

好吧，有点怀疑是你的日志级别调整到 ERROR了，其实可以按照上面说的先添加一个 peer ，就ok，但是有点没搞清楚：你到底几个 store，看这个帖子第一个图：你的 store 有 offline 的也就是store 4，还一个 Lowspace 的，还一个 Tombstone 的，去掉 offline/tombstone 的，你有3个对吧

spc_monkey · 2022 年3 月 3 日 10:28

1、你可以再手动在其中一个store ，应该还是 55179137，添加一个 peer（pd-ctl add-peer 命令，但不知道原先为啥失败，所以不敢确定，能成功）

spc_monkey · 2022 年3 月 3 日 10:39

检查一下 store 的空间，为啥会有 lowspace 的，最好处理一下，不然你的调度，可能会收到影响（调度会尽量不调度到的 lowspace的，好在你只有3个）

kuweilong666 · 2022 年3 月 3 日 10:48

怎么操作？现在只有3个store，

TiDBer_jYQINSnf · 2022 年3 月 3 日 10:59

https://docs.pingcap.com/zh/tidb/v5.2/pd-control
这下面有很多pd-ctl的例子，添加副本，调度之类的。可以看看。

h5n1 · 2022 年3 月 3 日 11:29

lowspace的节点删些无用文件比如tikv日志，这样释放些空间，pd-ctl config show看下有个low space ratio参数可以pd-ctl config set调大一点观察下

spc_monkey · 2022 年3 月 4 日 01:36

你这个图，你有一个 store 添加了 evict leader 调度吗？先不跑题，一会在说这个问题（你上面的图，明显是有问题的，总共3个 store，你其中一个 store 几乎是没有数据的，明显是不对的），你先
1、 region check pending-peer #找到 pending peer 的region

2、region xxxx #xxxx 指上面找到的 regionid （最好把结果发出来）

3、如果上面的 region 有3个 peer，2个正常，1个是 pending 的话，看看 pending peer 在那个 store 上，下面要用这个 storeid

4、operator add add-peer RegionId StoreId

kuweilong666 · 2022 年3 月 4 日 01:56

Seeyii-Business-Cluster-Overview-1646358754066.json (135.1 KB) Seeyii-Business-Cluster-PD-1646358724904.json (180.5 KB)
从ansible到tiup后services port status 也没有了 tidb4.0.0

spc_monkey · 2022 年3 月 4 日 02:35

打不开，你先执行一下上面的操作吧（你现在的集群状态：tiup cluster display clustername,输出的都是 up 吗？）

kuweilong666 · 2022 年3 月 4 日 02:46

spc_monkey · 2022 年3 月 4 日 02:46

或者你执行一下这个命令吧

kuweilong666 · 2022 年3 月 4 日 02:55

####TiUP ctl:v5.2.3 pd --pd=http://192.168.1.151:2379 region check pending-peer
Starting component ctl: /home/tidb/.tiup/components/ctl/v5.2.3/ctl pd --pd=http://192.168.1.151:2379 region check pending-peer
{
“count”: 1,
“regions”: [
{
“id”: 71253,
“start_key”: “7480000000000007FF8C5F698000000000FF00000D01E5B9BFE6FFB1BDE6B1FF87E790FF86E6B1BDE8FFBDA6FFE98791E89E8DFFE6FF9C89E99990E585FFFFACE58FB800000000FFFB03800000001014FF508D000000000000F9”,
“end_key”: “7480000000000007FF8C5F698000000000FF00000D01E5B9BFE8FFA5BFE586FF9CE59EFFA6E99B86E5FF9BA2FFE69C89E99990FFE8FFB4A3E4BBBBE585FFFFACE58FB800000000FFFB038000000001ECFF75FE000000000000F9”,
“epoch”: {
“conf_ver”: 14,
“version”: 941
},
“peers”: [
{
“id”: 71255,
“store_id”: 4
},
{
“id”: 71256,
“store_id”: 1
},
{
“id”: 55160493,
“store_id”: 169217
}
],
“leader”: {
“id”: 55160493,
“store_id”: 169217
},
“down_peers”: [
{
“peer”: {
“id”: 71255,
“store_id”: 4
},
“down_seconds”: 211609
}
],
“pending_peers”: [
{
“id”: 71255,
“store_id”: 4
}
],
“written_bytes”: 0,
“read_bytes”: 0,
“written_keys”: 0,
“read_keys”: 0,
“approximate_size”: 93,
“approximate_keys”: 878041
}
]
}

tiup ctl:v5.2.3 pd --pd=http://192.168.1.151:2379 region 71253

Starting component ctl: /home/tidb/.tiup/components/ctl/v5.2.3/ctl pd --pd=http://192.168.1.151:2379 region 71253
{
“id”: 71253,
“start_key”: “7480000000000007FF8C5F698000000000FF00000D01E5B9BFE6FFB1BDE6B1FF87E790FF86E6B1BDE8FFBDA6FFE98791E89E8DFFE6FF9C89E99990E585FFFFACE58FB800000000FFFB03800000001014FF508D000000000000F9”,
“end_key”: “7480000000000007FF8C5F698000000000FF00000D01E5B9BFE8FFA5BFE586FF9CE59EFFA6E99B86E5FF9BA2FFE69C89E99990FFE8FFB4A3E4BBBBE585FFFFACE58FB800000000FFFB038000000001ECFF75FE000000000000F9”,
“epoch”: {
“conf_ver”: 14,
“version”: 941
},
“peers”: [
{
“id”: 71255,
“store_id”: 4
},
{
“id”: 71256,
“store_id”: 1
},
{
“id”: 55160493,
“store_id”: 169217
}
],
“leader”: {
“id”: 55160493,
“store_id”: 169217
},
“down_peers”: [
{
“peer”: {
“id”: 71255,
“store_id”: 4
},
“down_seconds”: 211729
}
],
“pending_peers”: [
{
“id”: 71255,
“store_id”: 4
}
],
“written_bytes”: 0,
“read_bytes”: 0,
“written_keys”: 0,
“read_keys”: 0,
“approximate_size”: 93,
“approximate_keys”: 878041
}

kuweilong666 · 2022 年3 月 4 日 02:59

spc_monkey · 2022 年3 月 4 日 03:04

哦，明白了，
1、先试试 add-peer 吧，add-peer 别加在 store 4 上，把 4 换成 55179137（不用 remove peer 了）

spc_monkey · 2022 年3 月 4 日 03:05

先看看上面的操作 ok 不，不行的话，只能执行强制改 store 4 为 tombstone 了

kuweilong666 · 2022 年3 月 4 日 03:09

是按照这个stombstone吗？

kuweilong666 · 2022 年3 月 4 日 03:13

kuweilong666 · 2022 年3 月 4 日 03:15

kuweilong666 · 2022 年3 月 4 日 03:44

store 4 强制为 tombstone 了，再怎么操作？

kuweilong666 · 2022 年3 月 4 日 05:32

现在再怎么解决？