TiSpark写入tidb,以datasourceAPI写入特别慢

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:

[TiDB 版本]
V4.0.10
tispark版本是2.3.9,spark是2.4.3

[问题描述]
spark启了10个executor,每个4cores,6g内存,来读取tidb中两亿数据,再写入tidb中,测试读写性能,但是发现写入非常慢,而且有很多不知道在干嘛的操作。。所以tispark是否大批量的写入?还是说tispark只是为了提升tiflash的分析能力?

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

TiSpark 相比 TiDB server 是提升了分析能力,同时也是支持写入的。写入变慢,建议按照一下文档排查下:

好的收到,我看下,另外您说tispark主要是为了提升分析能力是吧,写入只是为了支持吧,因为我看官方测试是1.5亿条数据,你们用了188G内存资源,120并发,也要写近50分钟,所以主要是为了支持这个功能吧。
一般用tispark主要还是读取kv或flash数据分析使用吧,我看读取+分析很快。
另外如果是要大批量写入历史数据,其实是用工具导入会比spark批量写入好吧,
如果是接实时数据接入,用flink会好些是吧

TiSpark 写入是支持的,不过主要还是为了读取和分析,如果是批量数据导入,可以用导入工具看下,官网有相应的工具介绍,另外实时数据接入这块,可以用 Flink 哈,现在也有 TiDB + FLink 的案例,我们也在探索更多饿 TiDB + FLink 方案,可以看下这里

另外可否私聊下详细情况,方便提供更好的支持方案。