监控发现drainer down掉，日志有报错

[Christophe (Doudouwyh)]

为提高效率，请提供以下信息，问题描述清晰能够更快得到解决：

【概述】：场景 + 问题概述
监控发现drainer端口down掉，看日志有很多报错。有些是通pump读取失败，但测试了跟pump间能通，麻烦帮看下这是什么原因？谢谢！
【背景】：做过哪些操作
给上游几张表加了索引
【现象】：业务和数据库现象

【问题】：当前遇到的问题
drainer 监控down，日志有报错
【业务影响】：

【TiDB 版本】：
v5.0.0
【附件】：

• 相关日志
• 配置文件
• Grafana 监控（https://metricstool.pingcap.com/)
  
  

[yilong (yi888long)]

麻烦上传下，drainer 和 pump 的日志，多谢。
请问拓扑是什么情况？只有一个 pump 和 drainer 吗？

[Christophe (Doudouwyh)]

pump 3台： 1.1，1.4，1.5
drainer只有1台
谢谢！

[yilong (yi888long)]

1. 查看 drainer 日志，关闭是由于 pump 都关闭了
   
   
2. 在往前查看是由于同步了ddl sql
   [“Rollback failed”] [sql=“alter table user_info add KEY(account_id)”] [error=“invalid connection”]
   
   
3. 查看 pump 日志在这个时间段无异常的。
4. 请问下游是什么？ tidb ，mysql ？ 看看下游是否有报错。

[Christophe (Doudouwyh)]

下游是tidb，看了，只有虾米那的warning，没看到其他异常

[2021/07/01 13:48:52.594 +08:00] [WARN] [session.go:1428] [“run statement failed”] [conn=84483] [schemaVersion=3990] [error=“[ddl:1069]Too many keys specified; max 64 keys allowed”] [session=“{
"currDBName": "xx",
"id": 84483,
"status": 2,
"strictMode": true,
"user": {
"Username": "xx",
"Hostname": "xx",
"CurrentUser": false,
"AuthUsername": "xxx",
"AuthHostname": "%"
}
}”]

[yilong (yi888long)]

那帮忙检查，下游这个表添加索引成功了吗？ alter table user_info add KEY( account_id )

[Christophe (Doudouwyh)]

本来已经有了个唯一key，他们没注意，又敲了上面加key的语句，没有指定key名字，现在看表加了很多个key（上游的drop掉了）

[yilong (yi888long)]

添加太多超出范围了，drainer 同步就会报错。业务代码逻辑有问题，你们看下如何修改吧。是删除索引还是重建之类的。

[Christophe (Doudouwyh)]

上有的业务库已经删了索引，下游需要怎么处理？我先试下把下游的key删掉

[Christophe (Doudouwyh)]

可以了，谢谢！！

[yilong (yi888long)]