tispark读写tidb测试

Hacker_d0epMKeE · 2021 年7 月 13 日 06:09

目前搭建了三台tispark集群，tispark两台工作节点为16C32G，另搭建了pd，tidb，三台16C32G的tikv节点。测试读取3000w条数据写入另一张空表耗时大约30min，1亿是不能实现的，考虑到后续跑任务会分批，我将1.2亿条数据分四批跑。结果跑到第一批很快30min不到，第二批很慢需要两小时，第三批直接跑S。以下是几张截图

tispark的内存最高不到80%，tikv的压力倒是越来越大，怎样才能达到20min * 4内能跑完的速度，甚至更快呢，求解答

Billmay表妹 · 2021 年7 月 13 日 06:32

@Ricklee 麻烦帮忙看看~

这道题我不会 · 2021 年7 月 13 日 06:35

可以先参考下面这个帖子排查下 tikv 写入慢的问题，定位下具体是哪块资源达到瓶颈了：

Hacker_d0epMKeE · 2021 年7 月 13 日 06:56

目前还是测试阶段，基本只有我这个在跑，整体环境也在内网，有没有可能是tispark与tidb、pd、tikv间资源释放不及时等问题呢，只要不是循环跑批，单个任务跑都很快

这道题我不会 · 2021 年7 月 13 日 07:01

TiDB 集群是混合部署的吗？你可以先看下 Grafana Overview 监控面板中各组件资源的使用情况。

Hacker_d0epMKeE · 2021 年7 月 13 日 08:48

这是我目前的配置

基本都是独立的
除了tispark-master和tiflash共用了
机器的负载都比较低

即使是这种负载，开启上述的tispark任务，就会出现最开始的结果

这道题我不会 · 2021 年7 月 13 日 09:04

麻烦将 tidb 集群 overviwer/tidb/pd/tikv-details 四个 grafana 监控面板的数据提供下，导出的时候先等页面全部加载出来，时间范围选择跑批的时间段，导出方式参考：https://metricstool.pingcap.com/#backup-with-dev-tools

Hacker_d0epMKeE · 2021 年7 月 13 日 09:13

好的，大概需要五个小时

这道题我不会 · 2021 年7 月 13 日 09:24

嗯，不着急方便的时候再提供下即可。

Hacker_d0epMKeE · 2021 年7 月 13 日 15:00

这是跑任务的四份文件，三小时的
任务在7-13 19:32开始，7-13 22:20左右结束
这是spark 的记录

文件有点大，需要上传到云盘，麻烦查看下
链接: 百度网盘-链接不存在提取码: drjj 复制这段内容后打开百度网盘手机App，操作更方便哦

Hacker_d0epMKeE · 2021 年7 月 14 日 02:21

我在云盘又附加了一份昨日下午10点到今日上午10点的监控面板

Hacker_d0epMKeE · 2021 年7 月 15 日 04:28

请问下有眉目了吗

spc_monkey · 2021 年7 月 18 日 08:37

能把包含这 3 次任务的执行时间的，监控给一下吗（不过你的现象好像有热点，另外，你的服务器配置，建议给一下）

Hacker_d0epMKeE · 2021 年7 月 30 日 06:11

是热点，已经解决了

spc_monkey · 2021 年7 月 30 日 06:51

system · 2022 年10 月 31 日 19:04

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。