TiSpark 支持分区表写入

🌞 建议反馈 产品需求
1

需求反馈

【需求涉及的问题场景】

  • 业务打算用 hive->csv->lightning 全量迁移，再用 TiSpark 每天跑批查询 hive 表，将当天的增量后写入 TiDB，TiDB 按照日期做分区表，方便清理历史数据

  • 分区表是 4.0 版本引入，但是 TiSpark 还不支持写入分区表

【期望的需求行为】

【需求可替代方案】

【背景信息】

  • 金融行业场景，希望用 TiDB 做一些离线处理的业务，用来分析当前存贷款数据，每天统计存款余额等会写到 hive 一张表里，增量同步到 TiDB，也会有一些 OLTP 类查询
4

您好 这个问题有解决吗 我们用的tispark 2.4.1版本 遇到相同的问题

5

目前还没有明确计划，可以先补充下业务背景信息，我们后续会评估，感谢

6

我们产品为了支持多租户的需求，绝大部分的表都是分区表，每个租户使用一个分区的数据。因为我们一些计算如months_between这种函数，需要与oracle结果保持一致，只能走spark sql