太有必要了,我要严重呼吁增加物化视图
-
场景描述:
目前做实时数据开发,基于tidb+flink 如果有物化视图,基本不需要搭建ticdc ,kafka,flink , 还有flink ck 存储的hadoop 。
目前基表很多,但是一般join 需要2-6张表这样子
,这些表全部是持续写入。
更新延迟秒级别。
单个物化数据量不足TB级别,到几兆(维度表)到几百G(多事实聚合) 都有。
表均存在更新,删除比较少,我们这里目前将删除进行打flag 软删除。 -
痛点描述:
系统目前通过基于ticdc+kafka+flink+tidb 实时 开发处理,由于flink sql 需要占用内存比较大,目前都是stream api 实现,代码维护量比较大,另外,数据血缘比较难追踪,开发周期时间长。
-
功能描述:
需要功能,实时更新肯定是必要的,过滤关联聚合也是需要的,还有就是能够手动updae 视图是最好的,可以根据业务调整对应调整视图逻辑。 -
使用意向:
手动更改SQL,手动更新均可接收