1.TiSpark用的是这个帖子里给的2.3.15-snapshot版本 tiflash中decimal类型的值异常
2.Spark并发已经尽量调大了,作用不大,应该是有个日期索引导致的写入热点问题,去掉日期索引只需40多分钟。
3.这个我之前搭建的TiDB4.0版本的集群上测的,用java写程序对于一张表不断插入随机生成的数据,大概从1千万到8千万这个过程,写入速度有所下降,磁盘都是机械盘290G。不过我刚刚在新的5.0集群上测没有重现这一现象。之前的TiDB4.0集群配置比较低,4核16G,现在是部在24核剩余内存100多G的spark集群机器上。
4.我的测试集群都是1个tidb,1个pd,3个tikv和1个tiflash节点的。