继 8 月 25 日在深圳随手科技举办了第一次线下活动后,华南 TUG 又迎来了第二次线下活动。这次我们来到了广州的网易互娱,和网易互娱的同学交流 TiDB HTAP 相关的场景和实践。
9 月 17 日下午,来自网易互娱、虎牙、建信金科、快批等企业的 60 多位小伙伴们齐聚广州网易大厦博学堂会议室。
活动以网易互娱高级数据库管理工程师李文杰老师的 “TiDB 在网易互娱的选择与体验”开始,李文杰老师介绍了网易互娱的业务架构现状、TiDB 技术选型、最佳实践分享。网易游戏的数据库以 MySQL 为主,但随着数据量的增大遇到了扩展瓶颈,于是便考虑了包括 MySQL 分库分表、中间件、迁移到 CRDB 或 TiDB 等多种解决方案,由于 TiDB 兼容 MySQL 协议、支持业务平滑迁移、对于 TP 场景低延迟高吞吐、扩展能力优秀等特性,最终选择了 TiDB 。引入 TiDB 后网易互娱解决了存储容量、读写压力、数据分析等问题,TiDB 有效地支持了超大表的读取、打破了数据壁垒,实现了网易互娱数据汇总的需求。目前 TiDB 在网易互娱的使用规模是 41 个服务器,88 个实例,高峰期 QPS 万级以上,应用在了报表、服务、大数据、用户画像等场景,真正做到了 HTAP。最后李文杰老师还介绍了网易互娱的最佳实践,包括使用 Ansible 进行一键部署、弹性扩容;使用 Grafana 进行实时在线监控;日常运维的问题和解决方案等。
李文杰老师将会近期在 AskTUG 分享网易互娱的 TiDB 实践经验,请大家持续关注~
李文杰老师的分享结束后,来自网易互娱的资深运维工程师赵宗飞老师分享了通过 TiDB 的特点来弥补传统大数据平台的不足,结合两者优点打破离线数据报表和实时数据的应用壁垒的妙用。分享开始宗飞老师就和我们介绍了网易互娱为了建设数据中台的漫漫选型之路,简单的线上即线下需求,调研了多种方案,包括重构 MySQL 系统,但是横向扩展能力不便;使用 MongoDB,但无法同步上游 binlog及不便于同步sql语义;使用 Hive,不便于增量更新;使用 Phoenix on HBase,但不便于索引变更维护,聚合查询不够高效等等。由于以上的种种不便,最终了解并选择了 TiDB,满足了横向拓展、多主一从的实时同步、从 binlog 实时同步、sql语义、增量更新等需求,打破了数据孤岛的壁垒,便于全局个性化查询。
网易互娱带来的两个分享给将 TiDB 应用在 OLAP 场景的小伙伴们很多借鉴及启示。在短暂的休息之后,来自 PingCAP 的分析型产品负责人马晓宇老师带来了 TiDB 的 HTAP 之路,从过去、现在、将来三个时间维度为参与活动的小伙伴们讲解了 HTAP 的由来,TiDB HTAP 现状及将来规划。目前,TiSpark 组件可以帮用户解决复杂的 OLAP 查询,通过将 Spark SQL 直接运行在 TiDB 存储层上,同时融合 TiKV 分布式集群的优势,并融入大数据社区生态,同时支持 OLTP 与 OLAP,免除用户数据同步的烦恼。接下来 PingCAP 还会发布 TiFlash 组建,将行存变为列存,更是进一步增强了 AP 能力,使之成为一款真正意义上的 HTAP 数据库。
三位老师分享完毕后重新回到了台上,加上来自 PIngCAP 的 TiDB SQL Infra Team Tech Lead 姚维老师和用户生态负责人房晓乐老师,进行了持续一个小时的答疑,老师们回答了包括 TiDB 性能、架构、优化等问题。
AskTUG 社区近期也将发布 10 月份华南 TUG 活动的信息,Ti 友们请拭目以待哦~