tispark无法写入

[Hacker_Z7JgkkPI]

为提高效率，请提供以下信息，问题描述清晰能够更快得到解决：

【概述】 场景 + 问题概述

1. 
2. 
   
   3.
   
   
   【背景】 做过哪些操作
   按照官网的tispark写入案例改的，出现了图片上的问题，跑了4次，有两次出现图片1的状况，有一次出现
   图片2，有一次出现图片3
   用的下边这段
   df.write.format(“tidb”).option(“tidb.addr”,“”).option(“tidb.port”,“4000”).option(“tidb.user”,“”).option(“tidb.password”,“”).option(“database”,“spider”).option(“table”,“aba_week_copy1_copy2”).option(“spark.tispark.replace”,“true”).mode(“append”).save()
   【现象】 业务和数据库现象
   com.pingcap.tikv.exception.TiBatchWriteException: currently user provided auto increment value is only supported in update mode!

com.pingcap.tikv.exception.RegionException: Region Exception occurred - EpochNotMatch current epoch of region 72849 is conf_ver: 5 version: 1958, but you sent conf_ver: 5 version: 1957

【问题】 当前遇到的问题
tispark无法写入
【业务影响】

【 TiDB 版本】
5.0
【附件】 相关日志及监控（https://metricstool.pingcap.com/)

---

若提问为性能优化、故障排查类问题，请下载脚本运行。终端输出的打印结果，请务必全选并复制粘贴上传。

[小王同学]

@Hacker_Z7JgkkPI

currently user provided auto increment value is only supported in update mode!

辛苦确认下 tispark 和 spark 的版本

[Hacker_Z7JgkkPI]

spark是2.4.8
tispark是2.4.1

[Hacker_Z7JgkkPI]

没看明白这个https://github.com/pingcap/tispark/issues/1512链接上写的，意思是我这样做就是应该failed？

[小王同学]

额 好像贴错链接了，TiDB 的拓扑是咋样的？

[Hacker_Z7JgkkPI]

这样的。我按着文档上说的把spark装到三台tikv上了，master在172.16.16.39这台上

[小王同学]

完整日志方便的话辛苦也拿一下。我们排查下。感谢。

[Hacker_Z7JgkkPI]

stderr (652 字节) stdout (593 字节) stderr (4.2 KB) stdout (473 字节) stderr (1.2 KB) stdout (403 字节) stderr (1.1 KB) stdout (556 字节) stderr (5.9 KB)

[Hacker_Z7JgkkPI]

是这些吗

[marsishandsome (顾亮亮 - PingCAP)]

请将 spark.tispark.replace 改成 replace

[Hacker_Z7JgkkPI]

还是不行，还是报着个

[Hacker_Z7JgkkPI]

我是直接用spark-shell运行的这两段
val df = spark.sql(“select * from spider.aba_week_copy1_copy1”)

df.write.format(“tidb”).
option(“tidb.addr”,“172.16.16.41”).
option(“tidb.port”,“4000”).
option(“tidb.user”,“root”).
option(“tidb.password”,"").
option(“database”,“spider”).
option(“table”,“aba_week_copy1_copy2”).
option(“replace”,“true”).
mode(“append”).
save()

另外和机器的配置有关系吗，刚才又跑了一次，直接oom了

[birdstorm (Birdstorm - PingCAP)]

可以发下 spark 集群的配置文件及机器配置信息

[Hacker_Z7JgkkPI]

这是tidb集群的机器，我把spark装在三台tikv上了

这是spark-env.sh

这是spark-defaults.conf

[birdstorm (Birdstorm - PingCAP)]

可以看一下 spark 所在的机器是否有足够内存，另外如果足够可以考虑调大 executor 的内存。

[Hacker_DBbMod1T]

我也遇到了这种问题

[Hacker_Z7JgkkPI]

解决了吗

[不懂就问 (zhouyueyue)]

请问按照上面老师建议的调整方式改完之后问题还存在吗？

[Hacker_Z7JgkkPI]

没有，准备用tiup安装试试

[Hacker_Z7JgkkPI]

去掉自增id后，报这样的错，还是写不进去