扩容后tikv一直处于offline状态

🪐 TiDB 技术问题 部署&运维管理
1

【 TiDB 使用环境】生产环境
【 TiDB 版本】
【复现路径】用tiup执行扩容，命令
【遇到的问题：问题现象及影响】
tikv一直处理offline状态，日志如下：
[2023/11/09 00:46:14.608 +08:00] [FATAL] [server.rs:1099] [“failed to start node: Other("[components/pd_client/src/util.rs:878]: duplicated store address: id:1005 address:\"1.1.1.210:20160\" version:\"6.5.0\" peer_address:\"1.1.1.210:20160\" status_address:\"1.1.1.210:20180\" git_hash:\"47b81680f75adc4b7200480cea5dbe46ae07c4b5\" start_timestamp:1699461974 deploy_path:\"/usr/local/tikvtest/tikv-20160/bin\" , already registered by id:7 address:\"1.1.1.210:20160\" state:Offline version:\"6.5.0\" peer_address:\"1.1.1.210:20160\" status_address:\"1.1.1.210:20180\" git_hash:\"47b81680f75adc4b7200480cea5dbe46ae07c4b5\" start_timestamp:1695720782 deploy_path:\"/usr/local/tikvtest/tikv-20160/bin\" last_heartbeat:1699438910562858261 node_state:Removing ")”]

扩容前确认部署路径和数据存储目录都不存在，应该不会有冲突问题，麻烦大神们看下什么原因

2

进入pd-ctl 查看下所有的store 是否有2个1.1.1.210:20160 ，大概率是有一个kv缩容没有完全结束。

3

地址重复了，1.1.1.210:20160已经配置为store id 7

duplicated store address

1 个赞
4

可以用pd-ctl看下 store的情况pd-ctl -u http:pd-ip:2379 store

5

我怀疑你是不是重复扩容了？

duplicated store address: (下面地址重复)
id:1005 address:"1.1.1.210:20160" version:"6.5.0" deploy_path:"/usr/local/tikvtest/tikv-20160/bin" ,
already registered by (地址已经被下面注册)
id:7 address:"1.1.1.210:20160" state:Offline version:"6.5.0" deploy_path:"/usr/local/tikvtest/tikv-20160/bin"

1 个赞
6

/pd/api/v1/stores 用这个查看，确实原来已经有一个，是不是因为我缩容用–force的问题？

7

是的
你可以参考下我之前的处理方式

8

或者你改个kv端口也能启动

9

多次扩容同一个ip？

10

配置写错了把？

11

检查一下配置文件

12

感觉像配置文件写错了

13

前一个20160的tikv还没完全缩容掉，你又扩进去了，导致storeid重复

14

对，感觉就是这个问题 :thinking:

1 个赞
15

地址重复了把

16

检查一下配置文件