TiKV升级3.0失败

为提高效率,提问时请尽量提供详细背景信息,问题描述清晰可优先响应。以下信息点请尽量提供:

  • 系统版本 & kernel 版本】RedHead 7.4
  • TiDB 版本】2.1.0
  • 磁盘型号
  • 集群节点分布】2TiDB, 2PD, 5TiKV
  • 数据量 & region 数量 & 副本数
  • 问题描述(我做了什么)】 我从2.1.0滚动升级TiKV至3.0.0版本,升级过程中报如下信息: 同时,我在报错机器(233)上执行命令返回如下信息:
  • 关键词

从日志来看是tikv节点没有启动,建议再重新启动tikv节点,如果启动仍然失败,看下tikv日志中报什么错

我在报错机器上,执行“bin/tikv-server”命令,系统提示“Illegal instruction (core dumped)”

将报错机器的tikv-server删除,重新deploy并启动

为了确认tikv-server组件的问题,后面经过了如下处理措施:

1.在中控机上直接运行tikv-server --help命令,结果正常

2.将中控机上的tikv-server拷贝到tikv节点上,执行tikv-server --help命令,提示“Illegal instruction (core dumped)"

3.将中控机上的tikv-server同样拷贝到tidb、pd节点上执行tikv-server --help命令,运行正常

tidb集群中tikv节点服务器配置是相同的,tidb和pd节点的服务器配置是相同的,但是它们之间是不相同的。集群所有服务器都是物理服务器。综合以上情况,怀疑是否tikv-server版本跟某些物理服务器的兼容性问题导致的。随后,决定尝试直接升级到tidb v3.0.4。经过上述相同确认方法,tikv-server命令执行正常。安装官方文档执行v3.0.4的滚动升级,问题最终解决。