210个字段、6亿1数据量、通过Datax多并发从Hive写入TIDB,耗时13-20个小时,每秒8000 - 1w7条写入

【 TiDB 使用环境】生产环境
【 TiDB 版本】6.5.0
【复现路径】Datax 同步写入 TIDB,写入速度9000条/s,最高1w7条/s、channel = 10,batchSize = 500, hdfs文件大小256MB左右
【遇到的问题:问题现象及影响】写入速度过慢
【资源配置】2g-4g
【附件:截图/日志/监控】

既然有hive了,要不要试试TiSpark写入,那个速度上,并发上,能好一些,估计能打满硬件。

嗯 hive datax cloudcanal