【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】7.1.0
【复现路径】无
【遇到的问题:问题现象及影响】
当前集群磁盘容量不足,近期是单纯加TiKV,但是加节点总有上限(频繁加机器,是暂时解决方案)。
期望找个解决方案,能降低集群的存储成本,能想到的有:
1、数据冷热分离,有几张大表(全表,占集群数据总量30~40%)每天要做统计。
2、换成大存储(15TB)pcie机器,担心单台机器存储数据数据过多,导致集群性能下降。
【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】7.1.0
【复现路径】无
【遇到的问题:问题现象及影响】
当前集群磁盘容量不足,近期是单纯加TiKV,但是加节点总有上限(频繁加机器,是暂时解决方案)。
期望找个解决方案,能降低集群的存储成本,能想到的有:
1、数据冷热分离,有几张大表(全表,占集群数据总量30~40%)每天要做统计。
2、换成大存储(15TB)pcie机器,担心单台机器存储数据数据过多,导致集群性能下降。
有一些相关的实践你可以看看:
看看你们有没有冷数据,比如 3个月不看的内容等
业务是oltp,还是olap的呀
两个场景都有
基于历史数据做归档,归档到独立的数据库。
考虑拆分集群,将冷数据拆分到另外一个集群,这样冷热集群互不影响。数据同步可以用ticdc进行
是一种解决方案,只是原集群的成本没法降下来。
我们现在也是这么做的,两个集群,一个主要做oltp和部分olap,另一个主要做大部分的olap,两个集群通过ticdc来同步。
收到,请问:两个集群的tikv存储、tiflash有区别么。
oltp集群只有tikv,没有tiflash。 olap集群有tikv和tiflash。
ap 和tp集群的tikv磁盘类型有区别么
另问,大佬您生产环境的tikv机器内存多少。
嗯呢,我这边是8C、64G、1.6T,tikv(云服务器)存储资源大大不足
思考换云产品的大磁盘机器8C 32G 15T ,来存储冷数据,或者性能要求不高的大表数据;问题点不知tiv能否跑大于4T的机器
一般都可以,不过你的业务是OLTP,还是OLAP呀,视业务而定
常规业务是AP、少量tp,主要存归档数据。
以前调研过资源隔离,领导给否了
能跑的,没问题。
收到,多谢大佬:pray:
应该都还好,主要看业务需求。
制定数据生命周期策略,周期性归档历史数据