Java爬虫业务开5个任务,一个任务7个线程 部署20个机器报错

为提高效率,提问时请尽量提供详细背景信息,问题描述清晰可优先响应。以下信息点请尽量提供:

  • 系统版本 & kernel 版本】 centos 7
  • TiDB 版本】 3.05
  • 磁盘型号
  • 集群节点分布】 2tidb 3pd 5tikv
  • 数据量 & region 数量 & 副本数】 400w
  • 问题描述(我做了什么)】 java爬虫业务开5个任务,一个任务7个线程 部署20个机器报错,tidb连不上,但是之前我用mysql 就没有这个问题,mysql的max_connections我调的是2000,tidb这种情况 该怎么调整或者优化???
  • 关键词

你好: 麻烦发送一下完整报错,上传tidb日志,多谢

tidb 日志 如下 http://47.103.83.176:8080/group1/default/20191108/15/54/0/logs.zip 业务日志如下 error.txt (3.5 KB)

回复你了

可以了么 找到问题了么,日志都发到上面了

在查看了,有结果会尽快反馈,多谢

你好: 从日志查看[2019/11/08 15:29:06.381 +08:00] [WARN] [conn.go:653] [“read packet failed, close this connection”] [conn=21997] [error=“read tcp 192.168.2.173:4000->192.168.2.166:41952: read: connection reset by peer”]. 之前有类似案例是,请求量大的时候,盘慢了导致 2pc 时 tikv 没有响应,tidb 不知道事务状态,就主动关闭了客户端连接,出现 connection reset by peer。 请检查下tikv的IO监控信息

额。。。可是mysql就没有这个问题,这些节点才是正常生产环境的一半,减少线程或者节点可以解决但是量上不去,业务不能持续

哪这样不行啊 远远没有达到 并发的要求啊

您好: 请查看一下tidb,tikv的集群监控,当前主要的瓶颈在哪里?请反馈下监控的截图,看下能否优化,多谢

请问 要那个监控 我来截图

你好: 是否可以安装截长图工具:打开cluster-tidb和cluster-tikv-detail,performance-disk(选择tikv服务器)的所有监控项,截取监控信息(选择2019-11-08 14:00-------15:00),多谢

翻墙啊 兄弟

要不我给你账号 登上去 看看

给你私信了

你好: 不知道你们内网都有哪些重要的环境,我这边不好直接登录您的环境,请您也改下密码。 另外如果无法使用工具截图,辛苦手工截图下,多谢。

好的 我改下密码 辛苦你看下了

私信发你 连接和用户名 密码了

http://47.103.83.176:8080/group1/default/20191111/14/44/0/cluster-tdb.png http://47.103.83.176:8080/group1/default/20191111/14/44/0/cluster-disk-performance.png http://47.103.83.176:8080/group1/default/20191111/14/44/0/cluster-tikv-details.png

截好图了