我在使用TICDC后数据到kafka,然后由flink实时消费数据,
之前用的hdfs+hive+hbase,现在弃用之,直接使用tidb,但是实时这块还是保留flink。
但是用flink有个问题,之前flink的任务是基于hdfs的,现在hdfs等等被tidb替换,所以flink这块怎么弄呢?
这是我之前flink的配置:
现在tidb替换hdfs+hive+hbase,那么flink这里的state.backend该使用哪种呢?
S3协议,或者其他的分布式文件协议都可以
flink不需要基于hdfs运行,只需部分本地磁盘存储就可以
本地磁盘不是分布式的,当有机器挂掉时会存在数据丢失问题
能否推荐个分布式文件系统吗?hdfs比较重,或者你们的TIDB有分布式文件系统吗?
我看你们公司有很多客户的方案都有flink,想请问下他们的flink用什么来存这个checkpoint?
已经说了阿,兼容 S3的都可以了,比如 阿里 OSS 与AWS(亚马逊) S3 和 腾讯 云cos
好的,我网上查查怎么用
非常感谢哈