华南 TUG x Shopee “不同业务场景下的数据库技术选型思路” 活动回顾

如果你也想加入华南 TUG 社群,和华南 TiDB 用户实时交流并获取本地活动的第一手信息,欢迎私信咨询华南 TUG Leader @maiyang 或填写 本申请表 申请加入。

9 月份北京 TUG 与爱奇艺合办了技术沙龙,探讨“不同业务场景下的数据库技术选型思路”,吸引了许多北京互联网企业的小伙伴参加,爱奇艺和 58 集团老师的分享受到了大家的一致好评。10月华南 TUG 也把这个话题带到了深圳,在 Shopee 办公室和大家聊聊数据库选型那些事儿。

虽然是周日,华南的同学们学习热情依然高涨,Shopee 的会议室迎来了 70 多位来自深圳不同企业的伙伴。活动邀请了 Shopee 的 DBA Lead & TUG Ambassador 刘春辉老师和 TiDB DBA & TUG Member 洪超老师,网易互娱计费组的高级 DBA & TUG Ambassador 李文杰老师和 PingCAP 的互联网架构师李坤老师前来分享。

活动由华南 TUG 的 Leader 杨文老师开场,杨文老师简单介绍了自己,也介绍了华南 TUG 的近况及未来规划,想要加入 华南 TUG 社区的小伙伴们欢迎私信咨询华南 TUG Leader @maiyang 或填写 本申请表 申请加入。

开场介绍结束后,活动进入正题。首先是来自 Shopee DBA Lead 及 TUG Ambassador 刘春辉老师分享了 Shopee 选型的一些经验,Shopee 目前使用了 MySQL,Redis,TiDB 三种数据库,选型策略为:默认使用MySQL,努力消除 TB 级 MySQL 数据库实例;积极尝试 TiDB,尤其是数据量大且不宜分库分表的场景下,DBA 会建议使用 TiDB;Redis用于消解数据库高并发读写。TiDB 在 Shopee 目前有 20 多个集群,超过 400 个节点,最大集群包含 3 个 PD 节点,6 个 SQL 节点和 30 个 TiKV 节点,数据量超过 30TB,覆盖用户、商品、订单和风控等多个业务子系统,使用场景包括日志存储、MySQL 数据聚合、程序直接读写等。刘春辉老师介绍完总体情况后,由 TiDB DBA 洪超老师具体介绍了 TiDB 在 Shopee 的运维实践,包括硬件选择、灾备方案、Binlog使用场景、TiDB 拓扑查询工具 qtidb、监控方案、数据库表主键设计、DNS 设计、版本升级策略、数据迁移、异步写入、集群不相应解决方案、响应时间激增解决方案等。未来 Shopee 计划继续导入更多线上业务到 TiDB,并尝试把TiKV作为通用NoSQL存储,部分消解非关系型数据过度依赖MySQL的问题,以及调研TiDB on K8s,提高资源利用效率,实现自动扩容缩容。

刘春辉老师和洪超老师的分享结束后华南的同学积极参与了互动,就超卖、snowflake 原理、热备、数据迁移等问题与老师们进行了交流。“Shopee 的数据库技术选型思路” 实录将近期在 asktug 发出。

第二个分享由网易互娱高级 DBA & TUG Ambassador 李文杰老师带来,老师介绍了网易互娱的业务架构现状、TiDB 技术选型、最佳实践分享。网易游戏的数据库以 MySQL 为主,但随着数据量的增大遇到了扩展瓶颈,于是便考虑了包括 MySQL 分库分表、中间件、迁移到 CRDB 或 TiDB 等多种解决方案,由于 TiDB 兼容 MySQL 协议、支持业务平滑迁移、对于 TP 场景低延迟高吞吐、扩展能力优秀等特性,最终选择了 TiDB 。引入 TiDB 后网易互娱解决了存储容量、读写压力、数据分析等问题,TiDB 有效地支持了超大表的读取、打破了数据壁垒,实现了网易互娱数据汇总的需求。目前 TiDB 在网易互娱的使用规模是 41 个服务器,88 个实例,高峰期 QPS 万级以上,应用在了报表、服务、大数据、用户画像等场景,真正做到了 HTAP。最后李文杰老师还介绍了网易互娱的最佳实践,包括使用 Ansible 进行一键部署、弹性扩容;使用 Grafana 进行实时在线监控;日常运维的问题和解决方案等。

李文杰老师分享结束后同样有许多同学积极互动,就普罗米修斯监控系统、数据迁移过程中的会读写流量干扰问题、流量迁移过程中双写注意事项等问题与李文杰老师进行了互动。李文杰老师分享的实录可以点击此处查看。

两个分享过后,迎来了中场休息的茶歇环节。茶歇期间小伙伴们不仅品尝了 TUG 为大家准备的精美下午茶,还与其他到场听众进行了一对一地交流,结识到了不少新朋友。同时,TUG 也为华南的两位 TiDB MVA 网易互娱的李文杰老师和平安科技的何志勇老师准备了精美的小礼物,感谢他们对社区建设的付出。

最后一个分享来自 PingCAP 的互联网架构师李坤老师,她为大家分享了 “TiDB 常用场景解读”,讲述了 TiDB 从 by design 出发到用户使用形成的各种场景:解决分库分表、高可用/数据强一致场景、高写入场景、大存储类场景、数据中台多维度查询场景、准实时类 AP 查询场景以及 HTAP 场景,当然还有许许多多的 TiDB 用户在持续不断的 TiDB 使用场景进行拓展。

11 月华南 TUG 的活动正在筹备中,如果你有 TiDB 性能调优相关经验,欢迎你到 TUG 活动中分享,展现贵司的技术实力及你的技术思想。有意的小伙伴可以找华南 TUG Leader 杨文老师 @maiyang 报名。


相关阅读

北京 TUG 第二场线下活动 “不同业务场景下的数据库技术选型思路” 活动回顾

TUG 北京区第三场线下活动“TiDB 性能调优专场”精彩回顾

上海 TUG 第二次线下活动 “走进沪江” 活动回顾

2赞