TiDB 6.5.2 升级到7.1.0报错

[Tao]

意思是要在下个版本解决是吗？

[小王同学Plus]

你试试看，能不能启动一个 6.5.2 的 tidb-server，使用 patch 的方式，如果能起来，先把 ddl cancel 掉。

[Tao]

有文档吗？
怎么patch 启动？

[Tao]

刚patch启动了下tiup cluster patch tidb-cluster /tmp/tidb-hotfix-linux-amd64.tar.gz -N 10.10.5.28:3306 -R tidb，还是无法启动，报timeout
tidb.log (3.3 MB)

[小王同学Plus]

您好，请其他老师帮忙看了下，可以拿一下 PD 的日志吗？时间涉及到 6 月 05 早上 10 到下午 2、3 点，需要确认下 PD 是不是出现了一些异常

[Tao]

您好，这是三个pd的日志
pd1.log.zip (2.2 MB)
pd2.log.zip (6.7 MB)
pd3.log.zip (22.1 MB)

[Tao]

今天有人上班吗？

[Tao]

其中一个TiDB 后面不知道什么时候自己起来了，后来我手动启动了另一个TiDB，也可以启动了。
但现在执行create table 一直是 queueing的状态，10分钟都没返回，后来执行admin ddl cancel job_id，admin show ddl jobs 一直显示为 cancelling状态

[Tao]

刚试了下，insert和update还可以正常使用。

[小王同学Plus]

@Tao

pd1.log.zip (2.2 MB)
pd2.log.zip (6.7 MB)
pd3.log.zip (22.1 MB)

hi，前面两个 PD 的日志是不包含下面的时间的。麻烦重新取一下吧。

@小王同学Plus

时间涉及到 6 月 05 早上 10 到下午 2、3 点

[Tao]

我看了下，2和3应该是全的了，这个是1里面的日志
pd-2023-06-05T22-56-19.055.log.zip (18.0 MB)

[Tao]

TiDB的日志里有以下内容，不知道对排查有没有作用

[2023/06/13 15:38:25.995 +08:00] [WARN] [expensivequery.go:118] [expensive_query] [cost_time=18560.65446994s] [conn=2224538522386170291] [user=root] [database=health_dev] [txn_start_ts=0] [mem_max="0 Bytes (0 Bytes)"] [sql="create table _test(id int,primary key(id))"]
[2023/06/13 15:39:26.095 +08:00] [WARN] [expensivequery.go:118] [expensive_query] [cost_time=18620.755002607s] [conn=2224538522386170291] [user=root] [database=health_dev] [txn_start_ts=0] [mem_max="0 Bytes (0 Bytes)"] [sql="create table _test(id int,primary key(id))"]
[2023/06/13 15:40:26.195 +08:00] [WARN] [expensivequery.go:118] [expensive_query] [cost_time=18680.854337428s] [conn=2224538522386170291] [user=root] [database=health_dev] [txn_start_ts=0] [mem_max="0 Bytes (0 Bytes)"] [sql="create table _test(id int,primary key(id))"]
[2023/06/13 15:41:26.195 +08:00] [WARN] [expensivequery.go:118] [expensive_query] [cost_time=18740.854857487s] [conn=2224538522386170291] [user=root] [database=health_dev] [txn_start_ts=0] [mem_max="0 Bytes (0 Bytes)"] [sql="create table _test(id int,primary key(id))"]
[2023/06/13 15:42:07.365 +08:00] [INFO] [tidb.go:285] ["rollbackTxn called due to ddl/autocommit failure"]

[Tao]

还有一个现象，执行select count(*) from information_schema.DDL_JOBS一直没有返回，select * from information_schema.DDL_JOBS 可以返回

[Tao]

刚才想删除 TiFlash节点，使用TiUp缩容TiFlash，执行 ALTER TABLE <db-name>.<table-name> SET tiflash replica 'new_replica_num'; 也一直不成功了，使用 admin cancel ddl jobs 123558，也无法取消，state一直显示为 cancelling

[Billmay表妹 (表妹)]

导出或者备份数据，重新建立集群！

鉴于你完全没有按照文档升级集群所遇到的问题，
建议目前集群没问题，导出/备份数据，重建集群。

否则后面遇到的问题，不是很难查就是没法解决。