Can't connect to MySQL server on '****' (10061 "Unknown error")

sunlide · 2020 年8 月 8 日 08:00

两个五亿数据的表关联查询 selet count(*) 出现(10061 “Unknown error”)。
tidb-server 16g 内存。查询过程中会先消耗内存，然后消耗硬盘。硬盘减少一些后出错。
日志：
[2020/08/08 15:41:42.486 +08:00] [ERROR] [domain.go:527] [“reload schema in loop, schema syncer restart failed”] [error=“context canceled”]
[2020/08/08 15:41:42.486 +08:00] [INFO] [domain.go:612] [“domain closed”] [“take time”=13.347337ms]
[2020/08/08 15:41:42.525 +08:00] [INFO] [printer.go:33] [“Welcome to TiDB.”] [“Release Version”=v4.0.3] [Edition=Community] [“Git Commit Hash”=0529b1b493e46aae71bbe34cbe24515a2eb1b47c] [“Git Branch”=heads/refs/tags/v4.0.3] [“UTC Build Time”=“2020-07-24 12:06:35”] [GoVersion=go1.13] [“Race Enabled”=false] [“Check Table Before Drop”=false] [“TiKV Min Version”=v3.0.0-60965b006877ca7234adaced7890d7b029ed1306]

GangShen · 2020 年8 月 8 日 09:24

麻烦提供一下以下信息：

TiDB 集群版本
tidb-server 节点数量
在 tidb-server 节点上执行 grep -i ‘out of memory’ /var/log/messages 看下 tidb-server 是否有 oom 的情况

sunlide · 2020 年8 月 8 日 09:28

sunlide · 2020 年8 月 8 日 09:32

tiflash,tikv 16核32g 200g ssg
tidb-1*2 8核16g 50 g 硬盘
tidb-2 32核32g 50 g 硬盘

GangShen · 2020 年8 月 8 日 10:46

有检查过 oom 的情况吗？

如果是 OOM 的情况可以参考：https://book.tidb.io/session4/chapter7/tidb-oom.html#74-tidb-oom-的常见原因

TiDB 4.0 中为了避免 OOM 的情况，为某些算子启动临时磁盘文件，当 SQL 使用内存超过 mem-quota-query 时，将某些算子从内存落到磁盘上，以减少内存使用的目的

sunlide · 2020 年8 月 8 日 11:13

设置了8G，观察内存，观察内存后观察硬盘。硬盘减少几G后就停了。

GangShen · 2020 年8 月 8 日 11:29

看报错是 tidb-server 之间在等待 schema version 同步的时候报错了

github.com

pingcap/tidb/blob/07c6788ef2addca2931aa8de3ccdccc0007c9ea3/domain/domain.go#L543


      
          			logutil.BgLogger().Info("reload schema in loop, schema syncer need restart")
          			// The etcd is responsible for schema synchronization, we should ensure there is at most two different schema version
          			// in the TiDB cluster, to make the data/schema be consistent. If we lost connection/session to etcd, the cluster
          			// will treats this TiDB as a down instance, and etcd will remove the key of `/tidb/ddl/all_schema_versions/tidb-id`.
          			// Say the schema version now is 1, the owner is changing the schema version to 2, it will not wait for this down TiDB syncing the schema,
          			// then continue to change the TiDB schema to version 3. Unfortunately, this down TiDB schema version will still be version 1.
          			// And version 1 is not consistent to version 3. So we need to stop the schema validator to prohibit the DML executing.
          			do.SchemaValidator.Stop()
          			err := do.mustRestartSyncer(ctx)
          			if err != nil {
          				logutil.BgLogger().Error("reload schema in loop, schema syncer restart failed", zap.Error(err))
          				break
          			}
          			// The schema maybe changed, must reload schema then the schema validator can restart.
          			exitLoop := do.mustReload()
          			// domain is cosed.
          			if exitLoop {
          				logutil.BgLogger().Error("domain is closed, exit loadSchemaInLoop")
          				return
          			}
          			do.SchemaValidator.Restart()

TiDB 中 DDL 相关介绍：

可以通过 admin show ddl jobs 命令确认一下，执行 SQL 当时有没有 DDL 语句正在执行。是否可以在无 DDL 执行的情况下，在尝试进行表关联查询，看是否还会出现一样的报错。