碰了会掉血
(碰了会掉血)
2021 年8 月 4 日 07:15
1
为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【 TiDB 使用环境】
tidb 5.1.0版本 tispark 2.4.1版本
【概述】 场景 + 问题概述
在tispark中执行insert select sql,向tidb库中的分区表写入数据时,报错不支持向分区表写入数据
java.sql.SQLException: com.pingcap.tikv.exception.TiBatchWriteException: tispark currently does not support write data to partition table!
【背景】 做过哪些操作
【现象】 业务和数据库现象
【问题】 当前遇到的问题
tispark能支持向tidb分区表插入数据吗?大概什么那个版本支持?什么时候发布?
【业务影响】
【 TiDB 版本】
tidb 5.1.0版本 tispark 2.4.1版本
【附件】 相关日志及监控(https://metricstool.pingcap.com/ )
若提问为性能优化、故障排查 类问题,请下载脚本 运行。终端输出的打印结果,请务必全选 并复制粘贴上传。
2 个赞
github 上有 tispark 支持分区表写入的 issue ,目前还没有明确计划,可以在这个帖子下面补充下下业务背景信息,便于后续在产品侧的评估:
需求反馈
【需求涉及的问题场景】
业务打算用 hive->csv->lightning 全量迁移,再用 TiSpark 每天跑批查询 hive 表,将当天的增量后写入 TiDB,TiDB 按照日期做分区表,方便清理历史数据
分区表是 4.0 版本引入,但是 TiSpark 还不支持写入分区表
【期望的需求行为】
TiSpark 支持分区表写入
参考 https://git…
已打开 02:38PM - 26 Oct 20 UTC
type/feature-request
**Describe the solution you'd like**
TiDB 4.0 introduced partitioned table, b… ut TiSpark can't write to it.
**Describe alternatives you've considered**
No alternative.
**Additional context**
Check scenario described at https://github.com/pingcap/tidb/issues/20648, it would be best if TiSpark supports both partitioned table and subpartitioned table.
3 个赞
我们也有需求使用tispark写入分区表,请问这个近期有规划支持吗
我们也有需求使用tispark写入分区表,大概哪个版本会规划此功能呢?
system
(system)
关闭
2022 年10 月 31 日 19:15
5
此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。