tispark 加载数据的时候出现 failed to scatter region

TiDB 版本 5.3.0
spark 版本 v3.1.3
tispark 版本 2.5.0
在运行tispark批量写入demo语句的时候出现如下警告但是作业能够正确完成

如果配置了spark history,看一下那个任务的运行情况,是不是有task失败retry成功了,如果是这个情况,spark自己的失败重试机制成功写入了数据。
从截图分析,看写数据时,大概率对应的tikv会出现Server is busy的错误提示,需要看一下你测试环境的tikv磁盘配置。
此种情况在spark导入时可以认为是资源不足情况下的资源抖动,能够正常完成任务,如果是个测试环境,只是验证功能,不验证性能,不要太在意。如果想要避免,一个是建表时采用PRE_SPLIT_REGIONS,一个是调整tikv的数量和磁盘性能。如果本身tikv就是一个节点,又是sata盘组,采用PRE_SPLIT_REGIONS也意义不大。

1 个赞

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。