作业帮
TiDB v6.5+版本的引入以及新特性与优势
随着 TiDB 版本的不断迭代和升级,作业帮也开始关注并采纳新版本带来的新特性和优化。TiDB v6.5 版本中, TiCDC 同步性能的大幅提升。自动过期删除功能以及双云环境下主备集群架构的优势,为作业帮带来了数据同步和管理上的革新。
TiCDC 同步性能的大幅提升
在 TiDB v6.5 版本中,TiCDC(TiDB Change Data Capture)的同步性能得到了显著提升。TiCDC 作为一个捕获并传输数据变更的组件,对于需要实时数据同步到下游系统的业务至关重要。与 TiDB v5 版本相比,新版本在数据同步方面有了数十倍的提升,有效解决了之前版本中出现的同步延迟问题。
自动过期删除功能
TiDB v7.5.1 版本引入了自动过期删除功能,这一功能允许用户通过在表中添加时间字段来自动清理过期数据。这不仅有助于降低存储成本,还能满足业务对于数据时效性的需求。作业帮刘强老师在演讲中分享了自动过期删除功能的实际应用案例,并强调了通过调整参数来优化 cpu 的使用率的重要性。
双云环境下的主备集群架构
随着企业对数据安全性和可用性要求的提高,多云部署逐渐成为趋势。在双云环境下,基于 TiCDC 实现的主备集群架构,不仅提升了系统的可用性,还为企业在多云环境下的数据同步和管理提供了新的解决方案。作业帮刘强老师在演讲中详细介绍了这一架构的优势和实现细节。
同程旅行
作为同程旅行负责 TiDB 运维负责人,田帅萌老师从 2019 年就开始接触 TiDB ,对 TiDB 的功能、能力边界、新版的优点了如指掌。在业务高峰期面临数据量的激增和复杂查询处理的挑战。为了应对这些挑战,帅萌老师决定将核心系统升级至 TiDB v7.5.1 版本。
性能提升的实战分析
升级至 TiDB v7.5.1 版本后,首先感受到的是性能的显著提升。在业务高峰期,TiDB 展现出了至少一倍的性能提升,这得益于新版本在查询优化、执行计划绑定等方面的改进。特别是在处理复杂 SQL 和多索引场景时,优化器的性能得到了极大的增强,减少了全表扫描的发生,从而显著降低了 TiKV 的 CPU 消耗和 TiDB 的内存使用。
新功能的应用与优势
TiDB v7.5.1 版本引入的自动过期删除功能,为的数据管理带来了自动化和智能化的体验。通过在表中添加时间字段,系统能够自动清理过期数据,简化了数据生命周期管理,降低了存储成本,同时满足了业务对数据时效性的需求。
稳定性与可观测性的增强
稳定性是在线服务的核心要求。在升级至 TiDB v7.5.1 版本后,在今年的五一假期期间,核心数据库系统表现出了卓越的稳定性,未出现任何故障,确保了业务的连续性和数据的准确性。
新版本增强了 TiDB 的可观测性,提供了更智能的监控和诊断工具。Dashboard 的可分享功能使得业务团队也能直观地发现慢查询,而 top SQL 功能让问题 SQL 无处遁形。这些工具极大地提升了问题发现和解决的效率。
升级对比结果
TiDB v5.0.4 vs TiDB v7.5.1 的升级对比:
TiDB v7.5.1 版本从 999 耗时、99 耗时优于 v5.0.4 版本 8-10 倍左右,业务耗时方面有明显降低。
来自版主 @h5n1 从 TiDB v5.2.3 vs TiDB v7.5.1 的升级对比:
TiDB v7.5.1 版本处理请求更跟均衡,抖动减少,业务感知请求耗时平稳。
TiDB v7.5.1 版本请求 PD TSO 耗时明显降低,偶发性获取 TSO 等待超时情况已经没有了。
TiDB v7.5.1 版本的 IOPS 请求次数也有明显降低,说明内存请求处理增加,降低对磁盘读写依赖。
在业务中部分查询耗时从之前的几十秒降低至秒级别以内,业务感知数据库响应平稳、耗时降低。
老用户的视角:快速迭代的适应
作为 TiDB 的老用户,对 TiDB 的快速迭代表示肯定。每次迭代不仅修复了已知问题,还引入了性能改进和新功能,使得系统更加完善和强大。通过与 TiDB 社区的紧密合作,能够及时获得支持,确保了升级过程的顺利进行。
对新用户的建议:直接上 v7.1.5 版本 /
对于新用户,帅萌老师建议直接升级至 TiDB v7.1.5 版本。这个版本不仅稳定性得到了验证,而且在性能和新功能上都有显著的提升。通过直接采用最新版本,新用户可以避免逐步升级带来的复杂性和风险,快速享受到 TiDB 带来的所有好处。
我们可以看到 TiDB v6.5 版本在性能提升、新功能引入以及对业务增长的适应性方面都显示出了其强大的竞争力:
- 性能提升,TiCDC 同步性能增强:新版本 TiDB 中 TiCDC 的同步性能显著提升,为需要实时数据同步的业务场景带来革命性的改进,大幅降低了数据同步延迟。
- 存储优化,自动过期删除:v7.5.1 版本引入的自动过期删除功能,有效管理数据生命周期,自动化清理过期数据,降低存储成本,同时简化了数据管理流程。
- 架构优势,双云环境下的主备集群:适应多云部署趋势,基于 TiCDC 实现的主备集群架构,提升了系统的可用性和灾难恢复的灵活性,保障了数据的安全性。
- 升级后稳定性增强:通过从 TiDB v5 升级到 v7.5.1 版本,帅萌老师的感受在业务高峰期间的稳定性得到了增强,五一期间平稳运行,未出现故障。
- 可观测性改善,增强的监控与诊断工具:新版本提供了改进的 dashboard 和 top SQL 功能,使得慢查询和问题 SQL 的识别更加直观和便捷,提升了问题发现和解决的效率。
- 升级策略,风险控制:采取新建集群和数据迁移的策略进行升级,有效控制了升级过程中的风险,并通过详尽的准备工作确保了数据的一致性。
- 参数调优:在升级过程中遇到参数配置问题,通过调整配置和增加缓存容量,有效解决了性能下降的问题。
- 成本效益,数据归档和压缩:利用 CPU 资源优化存储空间使用,为写多读少的场景提供了成本效益高的解决方案。