【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】6.1.0
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】
TiSpark版本为
源码为:
有啥解决办法么,业务就是将数据导入到tidb
【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】6.1.0
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】
TiSpark版本为
源码为:
有啥解决办法么,业务就是将数据导入到tidb
这是我的导入代码
你的目标表含自增字段?目前TiSpark应该不支持写入自增字段的值。解决方案是建表时,避免自增字段;或者使用update模式写入,避免更新自增字段。从设计的角度来讲,含自增字段的表作为目标表导入,这个字段应该是没有意义的。
是的,目标表含有自增字段,确实,自增字段似乎没有什么用,我删了看看
之前没有看过jdbc和tispark的性能对比,我现在的方案是用spark jdbc去做的,想看看tispark会不会更好用一点
还有一个主要原因,目前的spark jdbc似乎不支持replace,这种情况下,我需要先将旧数据删除之后,才能插入新数据,删除旧数据这个流程耗时比较久。。。
replace前提是你的表有PRIMARY KEY或 UNIQUE KEY,你可以自定义jdbc的写入方式,很容易的。好像github上也有开源的
我的每一张表都是有PRIMARY KEY的,所以我一直想舍去delete的操作流程
我等下也用spark jdbc自定义写入的方式实现一下,看看效果如何
此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。