tispark将tikv数据写入hive中报错

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:

【TiDB 版本】
4.0.10
ti-spark 2.4.3
【问题描述】
tispark将tikv数据写入hive中报错:
命令create table default.bmsql_order_line select * from tpcc.bmsql_order_line;
导入其他表是可以的
错误如下:




若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

bmsql_order_line 这个表数据量怎么样?能否先查下 TiDB 环境有没有 OOM

tidb日志没有oom,数据量13亿行

请问下 tikv 日志里有提示什么报错吗?另外也麻烦检查下节点间通信是否都正常。

已解决,是tikv的这个表存在大的region

方便告知下具体是如何解决的吗?

通过查看spark任务的报错信息:显示regionId=25461一直读出现问题


然后查看这个region的大小,发现大概2354M
'
解决方案:
使用split切分region后作业运行成功

:+1:

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。