为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【TiDB 版本】
4.07 集群规模16台。每台2个SSD磁盘。512G内存。共32个kv.
【问题描述】
我们需要通过消费多个流来拼一个宽表,消费某一个流填充这个宽表的某几列。在spark中写入mysql,使用on duplicate key update实时写入效率很低,如何解决?如果使用insert into value(xxx),(xxx),(xxx)效率很高。而且使用on duplicate key update也是用的批量提交,增加了rewriteBatchedStatements=true这个参数。但是效率很低。