监控发现drainer down掉，日志有报错

🪐 TiDB 技术问题 部署&运维管理
1

为提高效率，请提供以下信息，问题描述清晰能够更快得到解决：

【概述】：场景 + 问题概述
监控发现drainer端口down掉，看日志有很多报错。有些是通pump读取失败，但测试了跟pump间能通，麻烦帮看下这是什么原因？谢谢！
【背景】：做过哪些操作
给上游几张表加了索引
【现象】：业务和数据库现象

【问题】：当前遇到的问题
drainer 监控down，日志有报错
【业务影响】：

【TiDB 版本】：
v5.0.0
【附件】：

2 个赞
2

麻烦上传下，drainer 和 pump 的日志，多谢。
请问拓扑是什么情况？只有一个 pump 和 drainer 吗？

1 个赞
3

pump 3台： 1.1，1.4，1.5
drainer只有1台
谢谢！

1 个赞
4
  1. 查看 drainer 日志，关闭是由于 pump 都关闭了
    image
    image1453×159 10.8 KB
  2. 在往前查看是由于同步了ddl sql
    [“Rollback failed”] [sql=“alter table user_info add KEY(account_id)”] [error=“invalid connection”]
    image
    image1833×235 34.7 KB
  3. 查看 pump 日志在这个时间段无异常的。
  4. 请问下游是什么？ tidb ，mysql ？ 看看下游是否有报错。
1 个赞
5

下游是tidb，看了，只有虾米那的warning，没看到其他异常

image
image1485×66 11.7 KB

[2021/07/01 13:48:52.594 +08:00] [WARN] [session.go:1428] [“run statement failed”] [conn=84483] [schemaVersion=3990] [error=“[ddl:1069]Too many keys specified; max 64 keys allowed”] [session=“{
"currDBName": "xx",
"id": 84483,
"status": 2,
"strictMode": true,
"user": {
"Username": "xx",
"Hostname": "xx",
"CurrentUser": false,
"AuthUsername": "xxx",
"AuthHostname": "%"
}
}”]

1 个赞
6

那帮忙检查，下游这个表添加索引成功了吗？ alter table user_info add KEY( account_id )

1 个赞
7

本来已经有了个唯一key，他们没注意，又敲了上面加key的语句，没有指定key名字，现在看表加了很多个key（上游的drop掉了）

1 个赞
8

添加太多超出范围了，drainer 同步就会报错。业务代码逻辑有问题，你们看下如何修改吧。是删除索引还是重建之类的。

1 个赞
9

上有的业务库已经删了索引，下游需要怎么处理？我先试下把下游的key删掉

1 个赞
10

可以了，谢谢！！

1 个赞
11

:+1:

1 个赞
12

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。