技术咨询|TiDB如何做冷热分离,业务层面已经没有可以删的数据

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】7.1.0
【复现路径】无
【遇到的问题:问题现象及影响】

当前集群磁盘容量不足,近期是单纯加TiKV,但是加节点总有上限(频繁加机器,是暂时解决方案)。

期望找个解决方案,能降低集群的存储成本,能想到的有:
1、数据冷热分离,有几张大表(全表,占集群数据总量30~40%)每天要做统计。

2、换成大存储(15TB)pcie机器,担心单台机器存储数据数据过多,导致集群性能下降。

1 个赞

有一些相关的实践你可以看看:

3 个赞

看看你们有没有冷数据,比如 3个月不看的内容等

业务是oltp,还是olap的呀

两个场景都有

基于历史数据做归档,归档到独立的数据库。

考虑拆分集群,将冷数据拆分到另外一个集群,这样冷热集群互不影响。数据同步可以用ticdc进行

是一种解决方案,只是原集群的成本没法降下来。

我们现在也是这么做的,两个集群,一个主要做oltp和部分olap,另一个主要做大部分的olap,两个集群通过ticdc来同步。

1 个赞

收到,请问:两个集群的tikv存储、tiflash有区别么。

oltp集群只有tikv,没有tiflash。 olap集群有tikv和tiflash。

ap 和tp集群的tikv磁盘类型有区别么

另问,大佬您生产环境的tikv机器内存多少。

:thinking:我们这边没有区别都是一样的。

按官方要求是有区别的

嗯呢,我这边是8C、64G、1.6T,tikv(云服务器)存储资源大大不足

思考换云产品的大磁盘机器8C 32G 15T :rofl:,来存储冷数据,或者性能要求不高的大表数据;问题点不知tiv能否跑大于4T的机器

一般都可以,不过你的业务是OLTP,还是OLAP呀,视业务而定

常规业务是AP、少量tp,主要存归档数据。

以前调研过资源隔离,领导给否了

能跑的,没问题。

收到,多谢大佬:pray::pray::pray:

应该都还好,主要看业务需求。

制定数据生命周期策略,周期性归档历史数据

1 个赞