【白皮书】基于 TiDB + Flink 的实时数仓最佳实践

恭喜你,你又找到了来自 TiDB 社区的资源宝藏!

点击下方链接下载【基于 TiDB + Flink 的实时数仓最佳实践白皮书】

基于 TiDB 与 Flink 的实时数仓最佳实践的白皮书.pdf (5.1 MB)

在这本白皮书中,你将学习到

  1. HTAP 架构的实战应用
  • 如何通过 TiDB 的 HTAP(混合事务/分析处理)能力,在单一平台上同时支持高并发 OLTP 事务与复杂 OLAP 分析,打破传统数仓的隔阂。
  • 深入理解 TiDB 的行列混合存储(TiKV + TiFlash)设计,优化实时查询性能。
  1. Flink 实时数据处理与 TiDB 无缝集成
  • 利用 Flink CDC 实现 MySQL/TiDB 数据的实时捕获与同步,构建端到端实时数据管道。
  • 通过 Flink-TiDB Connector 实现流批一体数据处理,将实时计算结果高效写入 TiDB。
  1. 企业级实时数仓架构设计
  • 从传统 Lambda 架构向实时数仓演进,简化技术栈并降低运维复杂度。
  • 结合 TiSpark 与 Flink 实现 T+0 实时分析,提升数据时效性与业务决策效率。
  1. 典型场景的优化实践
  • 大规模 Join 查询的性能调优、Flink 状态管理与 TiDB 分布式事务的协同设计。
  • TiDB 与 BI 工具(如 Tableau、Grafana)的深度集成,快速响应多维分析需求。

目录一览

—、方案概述

二、产品介绍
1、传统分析技术痛点
2、TiDB HTAP 架构

三、构建实时数仓之最佳实践
1、硬件配置

2、集群部署
(1)环境准备
(2)实施部署

3、数据导入
(1)从 MYSQL 到 TiDB
(2)从大数据集群及其他数据源到 TiDB

4、数据实时同步

5、实时读写场景
(1)实时写入场景
(2)实时维表 Join 场景
(3)change Data capture 场景
(4)FIink 动态表构建物化视图
(5)混合场景
(6)案例参考

6、大数据生态能力
(1)TiSpark 大数据分析引擎
(2)FIink-TiDB-connector 介绍
(3)数据向大数据集群归档
(4)从大数据集群转移数据
(5)结合大数据集群访问

7、BI 对接
(1)zeppeIin
(2)JupYter Notebook
(3)TabIeau
(4)Grafana
(5)saiku

四、操作指南

五、总结

如何获取白皮书?

点击下方链接,免费下载完整版《基于 TiDB 与 Flink 的实时数仓最佳实践》白皮书,获取以下完整内容,包含:

  • 架构设计详解与部署指南
  • 性能压测对比与调优参数
  • 互联网、电商、金融等行业的场景化案例

基于 TiDB 与 Flink 的实时数仓最佳实践的白皮书.pdf (5.1 MB)

2 个赞

貌似fink cdc已经不再支持6.5以后的版本了吧

收到反馈,我们确认下更新~

感谢 @YY-ha 整理分享。