Java爬虫业务开5个任务，一个任务7个线程 部署20个机器报错

🪐 TiDB 技术问题 部署&运维管理
1

为提高效率，提问时请尽量提供详细背景信息，问题描述清晰可优先响应。以下信息点请尽量提供：

  • 【系统版本 & kernel 版本】
    centos 7
  • 【TiDB 版本】
    3.05
  • 【磁盘型号】
  • 【集群节点分布】
    2tidb 3pd 5tikv
  • 【数据量 & region 数量 & 副本数】
    400w
  • 【问题描述（我做了什么）】
    java爬虫业务开5个任务，一个任务7个线程 部署20个机器报错，tidb连不上，但是之前我用mysql 就没有这个问题，mysql的max_connections我调的是2000，tidb这种情况 该怎么调整或者优化？？？
    %E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20191108151741
    %E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20191108151741884×391 8.4 KB
  • 【关键词】
2

你好： 麻烦发送一下完整报错，上传tidb日志，多谢

3

tidb 日志 如下
http://47.103.83.176:8080/group1/default/20191108/15/54/0/logs.zip
业务日志如下
error.txt (3.5 KB)

4

回复你了

5

可以了么 找到问题了么，日志都发到上面了

6

在查看了，有结果会尽快反馈，多谢

7

你好： 从日志查看[2019/11/08 15:29:06.381 +08:00] [WARN] [conn.go:653] [“read packet failed, close this connection”] [conn=21997] [error=“read tcp 192.168.2.173:4000->192.168.2.166:41952: read: connection reset by peer”]. 之前有类似案例是，请求量大的时候，盘慢了导致 2pc 时 tikv 没有响应，tidb 不知道事务状态，就主动关闭了客户端连接，出现 connection reset by peer。 请检查下tikv的IO监控信息

8

额。。。可是mysql就没有这个问题，这些节点才是正常生产环境的一半，减少线程或者节点可以解决但是量上不去，业务不能持续

9

哪这样不行啊 远远没有达到 并发的要求啊

10

您好： 请查看一下tidb，tikv的集群监控，当前主要的瓶颈在哪里？请反馈下监控的截图，看下能否优化，多谢

11

请问 要那个监控 我来截图

12

1573210360(1)
1573210360(1)1920×1080 539 KB
1573210427(1)
1573210427(1)1818×825 499 KB
1573210465(1)
1573210465(1)1842×923 251 KB

13

你好：
是否可以安装截长图工具：打开cluster-tidb和cluster-tikv-detail，performance-disk(选择tikv服务器)的所有监控项，截取监控信息（选择2019-11-08 14：00-------15：00），多谢
https://chrome.google.com/webstore/detail/full-page-screen-capture/fdpohaocaechififmbbbbbknoalclacl

14

翻墙啊 兄弟

15

要不我给你账号 登上去 看看

16

给你私信了

17

你好： 不知道你们内网都有哪些重要的环境，我这边不好直接登录您的环境，请您也改下密码。 另外如果无法使用工具截图，辛苦手工截图下，多谢。

18

好的 我改下密码 辛苦你看下了

19

私信发你 连接和用户名 密码了

20

http://47.103.83.176:8080/group1/default/20191111/14/44/0/cluster-tdb.png http://47.103.83.176:8080/group1/default/20191111/14/44/0/cluster-disk-performance.png http://47.103.83.176:8080/group1/default/20191111/14/44/0/cluster-tikv-details.png

截好图了