升级tidb cluster但是有些pod没有升级

🪐 TiDB 技术问题 K8s
1
  • 【TiDB 版本】：4.0.0 想要升级到 4.0.3
  • 【问题描述】：
    想要使用br进行数据备份，但是出现了br版本和tidb版本不一致的问题（另一个问题是我也没有自己安装过br呀……），如下为backup报错：
    %E6%89%B9%E6%B3%A8%202020-08-27%20172335
    %E6%89%B9%E6%B3%A8%202020-08-27%201723351915×375 280 KB

因此我想要升级tidb集群到4.0.3，我使用了下图方法：

%E6%89%B9%E6%B3%A8%202020-08-27%20171103
%E6%89%B9%E6%B3%A8%202020-08-27%20171103992×348 57.9 KB

以下为tidb cluster配置，各组件版本都已更改为v4.0.3：

%E6%89%B9%E6%B3%A8%202020-08-27%20171220
%E6%89%B9%E6%B3%A8%202020-08-27%20171220617×768 68.3 KB

%E6%89%B9%E6%B3%A8%202020-08-27%20171243
%E6%89%B9%E6%B3%A8%202020-08-27%20171243833×602 54.1 KB

但是只有少数pod进行了升级，如下图，更新时间在几小时的为升级了的pod，时间在几天的都没有升级

%E6%89%B9%E6%B3%A8%202020-08-27%20171602
%E6%89%B9%E6%B3%A8%202020-08-27%20171602791×288 58.3 KB

tikv-1详情如下：

%E6%89%B9%E6%B3%A8%202020-08-27%20171542
%E6%89%B9%E6%B3%A8%202020-08-27%201715421355×525 106 KB

可以看到镜像版本还是4.0.0

想问一下如何解决？

2

您好， 请看下 tidb-controller-manager 组件的日志，看看有没有什么报错信息，多谢。

3

I0828 03:09:55.967160 1 stateful_set_control.go:93] : [maozhipeng/tidb-demo]'s StatefulSet: [maozhipeng/tidb-demo-pd] updated successfully
I0828 03:09:55.984593 1 utils.go:149] set maozhipeng/tidb-demo-tikv partition to 2
I0828 03:09:55.994469 1 tidbcluster_control.go:68] TidbCluster: [maozhipeng/tidb-demo] updated successfully
I0828 03:09:55.994500 1 tidb_cluster_controller.go:297] TidbCluster: maozhipeng/tidb-demo, still need sync: tidbcluster: [maozhipeng/tidb-demo]'s upgraded tikv pod: [tidb-demo-tikv-2] is not all ready, requeuing

4

tikv-2是升级了的pod 但是tikv-0和1都没有升级

5

麻烦看下 tikv-2 的 log

6

我重新装了一遍集群:disappointed_relieved:谢谢你~

7

重新部署的 4.0.3 吗？

8

把tidb operator升级到1.1.4，重新部署的4.0.4
现在br和tikv版本匹配了

但是在备份的时候又碰到了新问题

%E6%89%B9%E6%B3%A8%202020-08-28%20223715
%E6%89%B9%E6%B3%A8%202020-08-28%202237151905×340 318 KB

它自动连接的是amazon的域名，但是我用的是小米fds的服务
backup配置如下：
%E6%89%B9%E6%B3%A8%202020-08-28%20224753
%E6%89%B9%E6%B3%A8%202020-08-28%20224753517×568 56.5 KB

是因为无法识别fds的provider吗？还是应该如何指定域名呢？

9

确认下 fds 是否兼容 s3， 以及使用哪种访问授权，是通过 AccessKey 和 SecretKey 授权 或 通过 IAM 绑定授权，具体步骤参考
https://docs.pingcap.com/zh/tidb-in-kubernetes/stable/backup-to-aws-s3-using-br

10

fds兼容s3, 使用accesskey和secretkey授权，但是provider那里是填fds还是other

它请求的域名是s3.staging-cnbj2.amazonaws.com
但是我想请求的域名是s3-staging-cnbj2-fds.api.xiaomi.net

11

配一下 endpoint，比如 endpoint: http://10.233.2.161。

12

报错：

%E6%89%B9%E6%B3%A8%202020-08-31%20112634
%E6%89%B9%E6%B3%A8%202020-08-31%201126341386×52 17.3 KB

请问是还需要其他配置吗？

目前配置如下

%E6%89%B9%E6%B3%A8%202020-08-31%20113111

13

Add scheme to the endpoint: http://s3-....

14

解决了，多谢！问题比较蠢，麻烦了！

15

没事，有问题随时创建 issue 就可以。

16

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。