tispark无法写入

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:

【概述】 场景 + 问题概述


  1. 3.
    【背景】 做过哪些操作
    按照官网的tispark写入案例改的,出现了图片上的问题,跑了4次,有两次出现图片1的状况,有一次出现
    图片2,有一次出现图片3
    用的下边这段
    df.write.format(“tidb”).option(“tidb.addr”,"").option(“tidb.port”,“4000”).option(“tidb.user”,"").option(“tidb.password”,"").option(“database”,“spider”).option(“table”,“aba_week_copy1_copy2”).option(“spark.tispark.replace”,“true”).mode(“append”).save()
    【现象】 业务和数据库现象
    com.pingcap.tikv.exception.TiBatchWriteException: currently user provided auto increment value is only supported in update mode!

com.pingcap.tikv.exception.RegionException: Region Exception occurred - EpochNotMatch current epoch of region 72849 is conf_ver: 5 version: 1958, but you sent conf_ver: 5 version: 1957

【问题】 当前遇到的问题
tispark无法写入
【业务影响】

【 TiDB 版本】
5.0
【附件】 相关日志及监控(https://metricstool.pingcap.com/)


若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

2赞

辛苦确认下 tispark 和 spark 的版本

spark是2.4.8
tispark是2.4.1
image
image
image

没看明白这个https://github.com/pingcap/tispark/issues/1512链接上写的,意思是我这样做就是应该failed?

额 好像贴错链接了,TiDB 的拓扑是咋样的?


这样的。我按着文档上说的把spark装到三台tikv上了,master在172.16.16.39这台上

完整日志方便的话辛苦也拿一下。我们排查下。感谢。

stderr (652 字节) stdout (593 字节) stderr (4.2 KB) stdout (473 字节) stderr (1.2 KB) stdout (403 字节) stderr (1.1 KB) stdout (556 字节) stderr (5.9 KB)

是这些吗

请将 spark.tispark.replace 改成 replace

还是不行,还是报着个

我是直接用spark-shell运行的这两段
val df = spark.sql(“select * from spider.aba_week_copy1_copy1”)

df.write.format(“tidb”).
option(“tidb.addr”,“172.16.16.41”).
option(“tidb.port”,“4000”).
option(“tidb.user”,“root”).
option(“tidb.password”,"").
option(“database”,“spider”).
option(“table”,“aba_week_copy1_copy2”).
option(“replace”,“true”).
mode(“append”).
save()

另外和机器的配置有关系吗,刚才又跑了一次,直接oom了

可以发下 spark 集群的配置文件及机器配置信息


这是tidb集群的机器,我把spark装在三台tikv上了
image
这是spark-env.sh

这是spark-defaults.conf

可以看一下 spark 所在的机器是否有足够内存,另外如果足够可以考虑调大 executor 的内存。

我也遇到了这种问题

解决了吗

请问按照上面老师建议的调整方式改完之后问题还存在吗?

没有,准备用tiup安装试试

去掉自增id后,报这样的错,还是写不进去