tispark读取tikv，join报错:"Error reading region .... Handle region task failed"

marsishandsome · 2021 年5 月 6 日 08:02

另外能提供一下 tikv 的日志吗？（包含超时2分钟的请求的日志）

wfxxh · 2021 年5 月 6 日 09:18

不是分析型的任务。

wfxxh · 2021 年5 月 6 日 09:19

刚才我比较了一下，不知道有没有关系。

birdstorm · 2021 年5 月 6 日 19:07

能否帮忙看一下 TiKV 中的 Region 大小分布？可以通过监控的 TiKV-trouble-shooting 界面，看下 large region 的大小。

wfxxh · 2021 年5 月 7 日 00:36

birdstorm · 2021 年5 月 7 日 00:42

麻烦在监控里获取一下 region 信息，我们分析一下
PD -> Statistics - Balance -> Store Region size

wfxxh · 2021 年5 月 7 日 00:50

你好，这样可以吗？

marsishandsome · 2021 年5 月 7 日 01:45

能提供一下 tikv 的日志吗？（包含超时2分钟的请求的日志）

wfxxh · 2021 年5 月 7 日 01:51

logs.zip (238.3 KB)

这是刚才运行报错的时间段内的所有tikv日志

marsishandsome · 2021 年5 月 7 日 02:01

提供的日志中没有发现 “Execution terminated due to exceeding the deadline” 的错误

目前初步判断 coprocessor 在读取某个或者某几个特定 region 数据的时候，处理时间超过2分钟导致超时报错

如果只 select 某几列能成功运行吗？

wfxxh · 2021 年5 月 7 日 02:02

几个字段可以，全字段就不行了

marsishandsome · 2021 年5 月 7 日 02:08

方便提供一下这张图对应时间的日志吗？

wfxxh · 2021 年5 月 7 日 02:20

今天8点10分到20重新运行的，刚才的日志就是这个时间段的。

marsishandsome · 2021 年5 月 7 日 02:23

能否提供一下今天8点10分到20 的 p99999 图以及 spark driver 出错日志？

wfxxh · 2021 年5 月 7 日 02:44

driver日志和以前一样的错误，我是on k8s跑的，pod删掉了，日志提供不了。。

birdstorm · 2021 年5 月 7 日 03:38

在 TiDB 里跑一下这条 sql 看下结果吧
SHOW TABLE qk_eng_guarantee.perio_artical REGIONS

wfxxh · 2021 年5 月 7 日 03:59

region.json (198.7 KB)

marsishandsome · 2021 年5 月 7 日 04:58

麻烦加个where条件运行一下

SHOW TABLE qk_eng_guarantee.perio_artical REGIONS where `approximate_size(mb)` > 256;

wfxxh · 2021 年5 月 7 日 05:31

{
“SHOW TABLE qk_eng_guarantee.perio_artical REGIONS where approximate_size(mb) > 256”: [
{
“REGION_ID” : 18959,
“START_KEY” : “t_1650_r_34302768”,
“END_KEY” : “t_1677_”,
“LEADER_ID” : 91114,
“LEADER_STORE_ID” : 7,
“PEERS” : “56853, 91114, 287367”,
“SCATTERING” : 0,
“WRITTEN_BYTES” : 0,
“READ_BYTES” : 0,
“APPROXIMATE_SIZE(MB)” : 23530,
“APPROXIMATE_KEYS” : 16710804
}
]}

这个region 超级大啊

marsishandsome · 2021 年5 月 7 日 06:10

应该是这个region特别大导致读取数据超时，建议手动把这个 region split 一下，切小到 96M 每个 region 大小