为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。
- 【TiDB 版本】:v4.0.7
- 【问题描述】:
我们是用TiDB做OLAP分析用的,流程是用TiDB做分析,然后通过JDBC把分析结果传到Spark,再用Spark把数据写到Hive。
我们希望把TiDB分析好的结果,传输的越快越好,现在传输速度有点慢。
1、请问如果使用“JDBC通过StreamingResult 流式获取执行结果”传输数据的话,相比于默认的方式,会快还是慢?内存使用得多没关系,关键是速度越快越好。
https://docs.pingcap.com/zh/tidb/stable/java-app-best-practices#使用-streamingresult-流式获取执行结果
2、JDBC传数据这块,还有其他可以优化的吗?
对于fetchsize,numpartitions,请问有比较合理的参数吗?
TIDB官方有篇文章,我看了下, 但是里面没有具体参数,我们设置的参数优化效果不明显,所以想请教下。