用pytispark写入从tidb的一个表写到另一个表性能很差

🛸 其他技术问题 TiSpark
,
4
  1. 写时候的读取是用于冲突等判断
  2. 根据之前的 bechmark, 4000w 的数据用 tispark / spark jdbc 应该都是分钟级别的。如果不需要全局事务还是建议 spark jdbc
  3. 你现在的并发度是多少，benchmark 里的是 32。如果低了可以增加 executor 数量/核心数来增加并发