新部署一个有30T数据的集群,这块有没有啥推荐的部署方案,tikv节点需要多少呢

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】7.5.1
新部署一个有30T数据的集群,这块有没有啥推荐的部署方案,tikv节点需要多少个,每个tikv的存储需要多大,请大佬们帮忙提供下思路

如果机器资源充足,可以参考下官方的推荐部署方案:

https://docs.pingcap.com/zh/tidb/v7.1/hybrid-deployment-topology

如果单机资源一般,就一台机器一个节点部署。

这么大集群上线,不考虑买个商业版兜底么?

我们有一套集群数据量30T多一点,总共32个KV,单个kv磁盘使用率大概50%,可以参考下
image

2 个赞

考虑后期的数据增长,以及对应的场景是ap还是tp,一般都是独立部署即可参照官方的建议,也可以业务压测

请问下单个tikv的硬盘多大呢

主要是经费有限 :joy:

我们这套单个硬盘是1.5 T 的 nvme 的 ssd

你是云服务器还是线下机房?

您这个集群是啥版本的,这么多tikv节点,是用了几副本呢

云服务器

6.1的3副本

1 个赞

云服务器好搞吧,按需扩就行了,我这个是物理机的,采购很麻烦,所以磁盘空间得冗余很多,保证几年内的增长量。

1 个赞

要部署集群,可以看看你们有什么机器可选。
如果想要机器数量少一些,那么单个磁盘就要大一点,相应的单机的内存和CPU配置要高一些,这种情况可以单机部署2到3个相同类型的节点。

1 个赞

是的,云服务器扩容方便些

我想用3.5T的nvme ssd硬盘,机器数量能少些

粗略计算,预计需要的tikv机器数 9台 = 30TB数据/磁盘占比50%/单盘3.5TB/单机2个盘。
如果想要更低的磁盘使用率,那么机器数要适当调高。
如果单机的内存和CPU足够高,比如有256GB内存、100vCPU这种,结合业务情况可以评估单机挂3个盘。

另外再加上 3台pd节点,tidb节点看业务情况评估是否可以考虑和pd混部,如果业务有比较重的AP分析、有OOM风险,tidb就独立部署。

监控和中控机节点可以部署1台,它们放在一起。tiflash和ticdc根据业务需要再来定。

2 个赞

一个机器可以跑多个tikv的,一个tikv一个硬盘,只要资源够参数限制好就没问题

看好资源占用别爆了就行先测测

大佬,问下你们的32个tikv tidbserver pd 和tiflash 分布情况分别是几个。