关于 TiFlash 独立部署

大家都知道,TiFlash 的数据目前只能从 TiKV 同步,所以我们无法创建只包含 TiFlash 副本的表。不过作为一名 TiFlash 的研发人员,也是一枚社区成员:wink:,我一直从不同渠道听到类似的声音:

能否支持 TiFlash 独立副本 / 部署?即 TiFlash 副本可以独立读写,不依赖 TiKV 来写入数据

我个人也多少能理解背后的原因,但是最想知道大家是如何考虑这个事情的,即:

  1. 大家最想从 TiFlash 独立部署的形态中获得哪些收益?
  2. 这种形态下,对应场景可能就是“实时分析数据库”。不过据我所知,市面上其实有一些专门解决类似场景的产品,大家是如何考虑的?

欢迎大家畅所欲言,发挥社区的力量。

(PS 虽然我是 PingCAP 的研发,不过这个帖子不代表官方)

4赞

个人认为(勿喷!) 纯ap的话貌似有很多类似产品吧,tiflash不一定是最优选择。我觉得tiflash现在的魅力还是和tikv组合在一起的htap方案,而不是他的ap处理性能!

2赞

主要还是HTAP,不是纯ap

2赞

TiFlash 独立副本(不依赖tikv的写入)独立写入。
疑问:1、需要类似的tidb-server作为读写入口 ,后者统一从 tidb-server
重要:tikv和tiflash同样的位置,可以配置复制数据(从tivk->tiflash,独立tiflash)。

假设使用tiflash部署纯ap场景:
1、只需要部署tidb-server,pd,tiflash,即把tikv换成tiflash了。
这样也是不错的。

2赞

在不影响主性能的情况下,可以做一些开发测试工作。

2赞

你最好代表一下官方嘛,哈哈,我的场景如下:
1.tidb+tipsark,tipsark计算之后的结果集,用于分析用途的话,经过tikv就显得繁琐。我们数据建设中ads,dws层次的表对外提供服务,不需要作为事务表存在。
2.统一的入口很重要,我们经历过多个数据产品拼凑的痛苦,上层应用搞的很复杂,入手不足的情况下,人员很疲惫,产品也不稳定。
3.ap方向的产品有很多,我们线上是greenplum,postgres协议的,mysql协议的能打的产品很少,doris,ck都比较专,其他的没有什么mysql协议的,我们就三两根枪,还是想统一到一个协议上。

2赞

主要还是HTAP

1赞

有一个成本方面的考虑,如果不用 tikv,可以节省 3N 台服务器

1赞

如果Tiflash单独部署,对服务器磁盘容量和服务器数量都会更灵活,目前TiKV的容量制约了Tiflash的容量。一般的olap数据库每节点容量超过10T很常见。

1赞

看了看直写的product进度,都停在了2020年了,啥时候再次提上议程?都开源了,我们也可以参与,:smiley:,有没有计划说一下当前的进度,我们能参与的内容?

1赞

https://tidb.io/blog/f193554c,这个场景里面,

,这个过程,直写tiflash可能会更好。

1赞

非得说的话:
离线分析,绝对不影响tp的情况下的离线分析。
比如说tp的数据通过ticdc同步到tiflash集群,通过tidb+tiflash分析。这样把tiflash查挂了都不影响tp。

1赞

我也是想问,以后TiFlash是否会支持这种场景,只使用TiDB Server + TiFlash, 而跳过从TiKV复制数据的环节。

1赞