TiSpark 支持分区表写入

需求反馈

【需求涉及的问题场景】

  • 业务打算用 hive->csv->lightning 全量迁移,再用 TiSpark 每天跑批查询 hive 表,将当天的增量后写入 TiDB,TiDB 按照日期做分区表,方便清理历史数据

  • 分区表是 4.0 版本引入,但是 TiSpark 还不支持写入分区表

【期望的需求行为】

【需求可替代方案】

【背景信息】

  • 金融行业场景,希望用 TiDB 做一些离线处理的业务,用来分析当前存贷款数据,每天统计存款余额等会写到 hive 一张表里,增量同步到 TiDB,也会有一些 OLTP 类查询