TiDB 生态组件图谱 (TiDB Ecosystem Overview)

🌃 资源中心 社区智慧合集
1

image
image1280×804 124 KB

《TiDB 生态组件图谱》v1.0 问世啦！

欢迎保存、转发、点❤！

如需转载请标注来源，原文链接：https://asktug.com/t/topic/1038227

以下内容是对该图谱的解析。

TiDB（/'taɪdiːbi:/，“Ti”代表“钛”Titanium）是 PingCAP 公司自主设计、研发的开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP) 的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 协议和 MySQL 生态等重要特性。TiDB 适合高可用、强一致要求较高、数据规模较大等各种应用场景。

TiDB 支持的编程语言

TiDB 支持多种编程语言，这些语言各有其特点和优势。以下是几种主流编程语言的特点和优势，你可以依据项目情况和使用场景自行选择。

Java 语言

Java 是一种面向对象的编程语言，具有跨平台的特性。 Java 的 JDBC（Java数据库连接）接口使得 Java 应用程序可以方便地与 TiDB 进行交互。Java 的广泛使用和成熟的生态系统使其成为企业级应用开发的首选。

参考阅读：

Go 语言

Go 语言是一种静态类型的编程语言，具有简单的语法和强大的并发处理能力。Go 语言的编译速度快，内置的并发支持使其非常适合开发高性能的分布式系统。TiDB 的编译和开发中使用了 Go 语言，这使得 TiDB 在处理并发请求时表现出色。

Rust 语言

Rust 是一种系统编程语言，注重安全性和并发性。Rust 的内存安全特性和高效的性能使其在系统级编程中备受欢迎。TiKV 在开发中使用 Rust 语言，以提高系统的安全性和稳定性。

Python 语言

Python 是一种解释型的高级编程语言，语法简洁易读。Python 的 peewee ORM（对象关系映射）库可以方便地与 TiDB 进行连接和操作。Python 的灵活性和丰富的库支持使其适合快速开发和数据分析。

其他

除了以上几种编程语言之外，TiDB 还支持 Node.js, .NET, PHP, C, C++ 等。

TiDB 支持的 ORM

TiDB 支持多种 ORM（Object-Relational Mapping） 框架，这些框架可以帮助开发者简化与数据库的交互，减少开发者的工作量，提升编程效率。以下是 TiDB 支持的一些主要 ORM 框架及其优势和特点。

Hibernate

Hibernate 是一个成熟的 Java ORM 框架，广泛用于企业级应用开发。它提供了强大的数据映射和查询功能，支持复杂的对象关系映射。Hibernate 完全支持 TiDB，能够利用 TiDB 的分布式特性进行高效的数据处理。TiDB 提供了专门的 Hibernate 方言，确保与 TiDB 的兼容性和性能优化。

MyBatis

MyBatis 是一个灵活的 Java 数据持久层框架，适合需要手动编写 SQL 的场景。它提供了简单的 XML 或注解配置方式，易于集成。MyBatis 支持 TiDB，能够通过自定义 SQL 查询充分利用 TiDB 的分布式查询能力。

TypeORM

TypeORM 是一个适用于 TypeScript 和 JavaScript 的 ORM 框架，主要用于 Node.js 应用。它提供了强大的数据模型和查询构建器，支持多种数据库。TypeORM 完全支持 TiDB，允许开发者使用 JavaScript/TypeScript 对象与 TiDB 进行交互，简化了 CRUD 操作。

GORM

GORM 是一个用于 Go 语言的 ORM 框架，提供了简洁的 API 和强大的功能，适合快速开发。GORM 完全支持 TiDB，能够利用 TiDB 的高可用性和扩展性进行高效的数据操作。

Active Record

Active Record 是 Ruby on Rails 框架的默认 ORM，提供了直观的对象关系映射和数据库操作。Active Record 支持 TiDB，能够无缝集成到 Rails 应用中，利用 TiDB 的分布式特性进行高效的数据处理。

其他

除了以上几种 ORM 之外，TiDB 还支持 Drizzle, Prisma, Django, Spring, SQLAlchemy, Peewee, Beego, Upper/db, Xorm, JOOQ, Sequelize 等。

示例

具体用法和示例程序可参考官方文档：

开发示例代码：

TiDB 支持的标准 SQL 和驱动

TiDB 支持多种驱动程序(Drivers)，这些驱动程序大多兼容 MySQL 协议，因此可以无缝连接到 TiDB，并且在某些情况下提供了针对 TiDB 的特定优化和增强功能。以下是一些主要的驱动程序及其特点。

TiDB-JDBC

TiDB-JDBC 是基于 MySQL 8.0.29 定制的 Java 数据库连接（JDBC）驱动程序，专门用于连接 TiDB。它修复了 MySQL JDBC 中的多参数和多字段 EOF 问题，并增加了自动 TiCDC 快照维护和 SM3 认证插件等功能。这些增强功能使得 TiDB-JDBC 在与 TiDB 交互时更加高效和安全。

代码仓：https://github.com/pingcap/mysql-connector-j

MySQL Connector/Python

这是 MySQL 官方的 Python 驱动程序，兼容 MySQL 协议，因此可以用于连接 TiDB。MySQL Connector/Python 提供低级别的数据库访问，适合需要手动管理数据库连接和事务的开发者。

Go-SQL-Driver/MySQL

Go-SQL-Driver/MySQL 是一个用于 Go 语言的 MySQL 实现，支持 database/sql 接口。它完全支持 TiDB，提供了高效的数据库连接和操作。

PyMySQL

PyMySQL 是一个流行的开源 Python 驱动程序，兼容 MySQL 协议。PyMySQL 适用于需要使用 Python 进行数据库操作的开发者，支持基本的 CRUD 操作。

其他

除了以上几种驱动之外，TiDB 还支持 ODBC, AdoNet, Ham4db, Node-MySQL2, mysql.js, Mysql2(Ruby) 等。

TiDB 支持的连接池

TiDB 支持多种连接池（Connection Pool），连接池是优化数据库连接性能的重要工具，开发者可以根据应用的具体需求选择合适的连接池实现。以下是几种与 TiDB 兼容的连接池及其特点。

HikariCP

HikariCP 是一个轻量级且高性能的JDBC连接池库，常用于 Java 应用中。以其快速的连接获取速度和低内存占用而闻名。HikariCP 提供了丰富的配置选项，如 maximumPoolSize 和 minimumIdle，可以根据应用需求灵活调整连接池大小。HikariCP 提供了详细的连接池监控功能，如 metricRegistry，帮助开发者及时发现和解决连接池问题。

Druid

Druid 是由阿里巴巴开发的连接池，专注于监控和性能优化，适合大规模应用场景，支持多种数据库类型，易于集成和使用。Druid 提供了强大的监控和统计功能，能够详细记录 SQL 执行情况和连接池状态。

Tomcat JDBC

Tomcat JDBC 是一个成熟的连接池实现，具有良好的稳定性和兼容性，适合与 Tomcat 服务器集成使用。Tomcat JDBC 提供了灵活的配置选项，可以根据应用需求调整连接池大小和空闲连接数。

C3P0

C3P0 是一个老牌的连接池，提供了自动回收和连接测试功能，适合需要稳定性和可靠性的应用。C3P0 支持多种配置选项，能够自动处理连接泄漏问题。

DBCP

DBCP (Apache Commons DBCP) 是 Apache Commons 提供的连接池实现，以其稳定性和可靠性著称，适合中小型应用，且具有良好的社区支持和文档。

TiDB 支持的客户端工具

TiDB 支持多种客户端工具（GUI Tools），这些工具可以帮助用户便捷的连接和操作 TiDB 数据库。以下是一些主要的客户端工具及其优势和特点。

MySQL 客户端

TiDB 高度兼容 MySQL 协议，因此大多数 MySQL 客户端工具可以直接用于连接 TiDB。这意味着用户可以使用熟悉的 MySQL 命令和工具与 TiDB 进行交互。用户可以通过 MySQL 命令行客户端连接到 TiDB，例如：

mysql --host <tidb_server_host> --port 4000 -u root -p

或者，使用 MySQL Shell 连接到 TiDB，例如：

mysqlsh --sql mysql://root@<tidb_server_host>:4000

DBeaver

DBeaver 是一个通用的数据库管理工具，支持与 TiDB 的完全兼容。DBeaver 提供了跨平台的支持和丰富的功能，如数据导入导出、SQL 编辑和执行等，适合需要管理多种数据库的用户。

JetBrains DataGrip

DataGrip 是 JetBrains 提供的一个强大的数据库管理工具，支持与 TiDB 的完全兼容。DataGrip 提供了丰富的功能，如智能代码补全、数据分析和可视化等，适合开发者和数据库管理员使用。

Beekeeper Studio

Beekeeper Studio 是一个开源的 SQL 编辑器和数据库管理工具，支持与 TiDB 的完全兼容。它提供了一个用户友好的界面，适合需要图形化界面进行数据库管理的用户。

VS Code

Visual Studio Code (VS Code) SQLTools 是一个 VSCode 的扩展，支持与 TiDB 的完全兼容。SQLTools 提供了在 VSCode 中直接管理数据库的能力，适合开发者在开发环境中快速进行数据库操作。

Navicat

Navicat 是为数据库用户提供的 GUI 工具集。Navicat Premium 已兼容 TiDB，用户可以使用 Navicat 对 TiDB 集群进行管理。

参考阅读：

其他

除了以上几种客户端工具之外，TiDB 还支持 Data Studio, Spring Webclient, MySQL Workbench, HeidiSQL, TablePlus, IntelliJ IDEA with MySQL Plugin 等。

参考阅读：

TiDB 支持的负载均衡中间件

TiDB 支持多种负载均衡中间件(Proxy/LoadBalance)，以优化流量分配和提高系统的可用性。

TiProxy

TiProxy 是专为 TiDB 设计的负载均衡器，支持多种负载均衡策略，如状态、标签、健康状况、内存、CPU 和地理位置等。TiProxy 可以根据 TiDB 服务器的状态（如关闭或异常）自动迁移连接，支持资源隔离和自动故障转移。它还可以根据地理位置优先路由请求，以减少延迟。

HAProxy

HAProxy 是一种成熟的负载均衡解决方案，支持多种负载均衡算法，如轮询（roundrobin）和最少连接（leastconn）。它能够处理大量并发连接，并提供高可用性和故障转移功能。HAProxy 可以在第4层（传输层）进行负载均衡，适用于长连接的场景，如SQL请求。它还支持动态调整服务器权重，以适应不同的负载情况。

官方文档：

ProxySQL

ProxySQL 是一种高性能的 MySQL 协议代理，支持复杂的查询路由和查询缓存功能。它可以在应用层进行负载均衡，并提供细粒度的流量控制。ProxySQL 支持动态配置和实时监控，能够根据查询模式和服务器负载动态调整流量分配策略。

其他

TiProxy 提供了更为细致的负载均衡策略，适合需要资源隔离和自动故障转移的场景；HAProxy 适合需要稳定性和高并发处理能力的场景；而ProxySQL则适合需要复杂查询路由和缓存功能的应用。

此外，还有 F5, LVS, Weir 等负载均衡工具。

参考阅读：

TiDB 快速体验

你可以通过以下三种方式快速体验 TiDB。

TiDB Playground

TiDB Playground 是一个在线平台，用户无需注册即可快速了解 TiDB 的特性。

访问地址：https://play.tidbcloud.com

2025-01-09_141517
2025-01-09_1415171198×564 52.4 KB

TiUP Playground

TiUP Playground 是 TiUP 生态系统中的一个重要组件，专注于快速部署本地 TiDB 集群。用户可以通过简单的命令行操作启动一个包含 TiDB、TiKV、PD 和 TiFlash 实例的最小化集群。

tiup playground

TiUP Playground 提供灵活的配置选项，支持指定组件版本和实例数量，并支持持久化数据功能。它适用于 macOS 和 Linux 系统，并集成了 Prometheus 和 Grafana 的监控功能，方便用户查看集群的运行状态。用户可以使用 TiUP Playground 来探索和测试 TiDB 的各种特性和性能。TiUP Playground 也是一个理想的教育工具，适合用于教学和培训目的。

TiDB Cloud Serverless

TiDB Cloud Serverless 是一款完全托管的多租户 TiDB 产品。它提供即时、自动扩展的 MySQL 兼容数据库，并提供 免费套餐。适合个人开发者和做为中、小型网站的数据库。

TiDB 本地部署

本地部署 TiDB 标准集群，可以使用 TiUP 或使用 TiDB Operator 在 Kubernetes 上部署。

TiUP

TiUP 提供了简便的命令行工具，简化了 TiDB 集群的部署、管理和升级。可以轻松管理 TiDB、TiKV、PD、TiFlash、TiCDC 等组件，满足不同的拓扑需求。支持管理不同版本的 TiDB 集群。

官方文档：https://docs.pingcap.com/zh/tidb/stable/production-deployment-using-tiup

TiDB Operator

TiDB Operator 提供包括部署、升级、扩缩容、备份恢复、配置变更的 TiDB 全生命周期管理。借助 TiDB Operator，TiDB 可以无缝运行在公有云或自托管的 Kubernetes 集群上。

官方文档：https://docs.pingcap.com/zh/tidb-in-kubernetes/stable/tidb-operator-overview

TiDB Cloud 公有云

由 PingCAP 提供的 TiDB Cloud 是一种完全托管的数据库即服务 (DBaaS)，它将开源混合事务和分析处理 (HTAP) 数据库 TiDB 引入你的云中。TiDB Cloud 提供了一种部署和管理数据库的简便方法，让你可以专注于应用程序，而不是数据库的复杂性。TiDB Cloud Dedicated 产品适用于生产用途，具有跨区域高可用性、水平扩展和 HTAP 的优点。

目前，TiDB 公有云 RDS 支持 AWS Google Cloud，Azure，移动云，金山云，京东云等云厂商，你可以在各家云厂商的云市场中进行采购。

TiDB 支持的数据备份工具

TiDB 提供了多种数据备份工具，包括 BR（Backup & Restore）、Dumpling 和 TiDB Lightning。每种工具都有其独特的功能和优势，适用于不同的备份和恢复场景。

BR（Backup & Restore）

BR 是 TiDB 生态系统中的一个命令行工具，专为分布式备份和恢复 TiDB 集群数据而设计。它支持大数据量的备份，提供全量和增量备份、日志备份、快照备份以及时间点恢复（PITR）。BR 可以将数据备份到多种存储后端，包括 Amazon S3、Google Cloud Storage (GCS)、Azure Blob Storage、华为云 OBS 等。BR 是备份和恢复 TiDB 数据的首选方法，具有较高的备份和恢复速度。

官方文档：https://docs.pingcap.com/zh/tidb/stable/br-use-overview

Dumpling

Dumpling 是一个用于从 TiDB 导出数据的工具，支持将数据导出为 SQL 文件或 CSV 文件。它适用于需要将数据从 TiDB 迁移到其他数据库或进行数据分析的场景。Dumpling 提供了灵活的导出选项，可以根据需要选择导出的表和数据格式。它的优势在于简单易用，适合小规模数据的快速导出。

TiDB Lightning

TiDB Lightning 是一个用于将数据快速导入 TiDB 的工具，特别适用于大规模数据的导入。它支持从 Dumpling 导出的 SQL 文件或 CSV 文件中导入数据，并提供了高效的数据导入机制。TiDB Lightning 可以在导入过程中自动分割和合并数据，以提高导入速度。其优势在于能够处理大规模数据导入，适合数据迁移和初始化场景。

其他

此外，还有 Mydumper，mysqldump 等备份工具。

以及，第三方备份工具，如云信达、爱数 AnyBackup、迪思杰 DSG 等。

TiDB 支持的数据迁移工具

TiDB 提供了一系列强大的数据迁移工具，适用于不同的场景，包括全量数据迁移、增量数据迁移、备份与恢复以及数据复制。

TiCDC

TiCDC 通过拉取 TiKV 的变更日志实现数据复制，支持将增量数据复制到下游系统，包括 TiDB、MySQL、Kafka、MQ 以及云存储服务（如 Amazon S3、GCS、Azure Blob Storage 和 NFS）。

TiDB Data Migration (DM)

DM 主要用于从 MySQL 兼容数据库（如 MySQL、MariaDB、Aurora）迁移数据到 TiDB。DM 提供便捷的统一数据迁移任务管理，支持全量数据迁移和增量复制。支持过滤表和操作，能够进行分片合并和迁移。

TiDB Lightning

Lightning 用于将全量数据快速导入到 TiDB。支持快速导入大量数据，能够快速初始化 TiDB 集群中的特定表。支持检查点功能，允许在重启后从中断处继续导入。

OGG

除了 TiDB 提供的迁移工具，TiDB 还支持 OGG、DataX、Kettle 等第三方数据迁移工具。

Oracle GoldenGate (OGG) 是一个用于实时数据集成和复制的工具。由于 TiDB 兼容 MySQL 协议，理论上 OGG 支持 MySQL 作为目标数据库，与 TiDB 进行集成。

DataX

DataX 是阿里巴巴开源的数据同步工具，支持多种数据源和目标。可以使用 DataX 将其他数据库中的数据同步到 TiDB 来。

参考阅读：

Kettle

Kettle 是一个开源的数据集成工具，支持多种数据库的连接和数据迁移。由于 TiDB 兼容 MySQL 协议，理论上可以通过 Kettle 的 MySQL 连接器与 TiDB 进行数据迁移和集成。

更多内容：

TiDB 支持的通用数据框架

随着数据量的爆炸式增长和数据价值被深度挖掘，对数据集成的需求越来越普遍和迫切。TiDB 支持与常见的通用数据框架(General Data Framework)集成。

TiSpark

TiSpark 是 PingCAP 为解决用户复杂 OLAP 需求而推出的产品。它借助 Spark 平台，同时融合 TiKV 分布式集群的优势，和 TiDB 一起为用户一站式解决 HTAP (Hybrid Transactional/Analytical Processing) 的需求。

TiSpark 需要设置Spark集群，并配置 TiSpark。支持使用 Spark SQL 从 TiKV 读取数据，并通过 Spark DataSource API 或 Spark SQL 将数据写入 TiKV。

Confluent

Confluent 是一个兼容 Apache Kafka 的数据流平台，能够访问、存储和管理连续的实时流数据，具备丰富的数据集成能力。自 v6.1.0 开始，TiCDC 支持将增量变更数据以 Avro 格式输出到 Confluent。

Snowflake

Snowflake 是一种云原生数据仓库。借助 Confluent 的能力，你只需要创建 Snowflake Sink Connector，就可以将 TiDB 的增量数据输出到 Snowflake。

Flink

Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。通过 TiCDC 将 TiDB 的增量数据变更日志复制到 Kafka。Flink 通过 Kafka 连接器消费数据，再利用 Flink 的流处理能力实时处理和分析数据。

其他

此外，你还可以将 TiDB 与其他数据框架（如 Airbyte，Hadoop，Bytebase 等）进行集成，打破数据孤岛，更加高效的处理数据。

TiDB 支持的 CPU

TiDB 支持的 CPU 架构包括 x86_64 和 ARM 64。

需要注意的是，从 TiDB v6.6.0 开始，x86_64 架构需要支持 x86-64-v2 指令集。

在基础架构方面，TiDB 支持鲲鹏 Kunpeng、龙芯 LoongArch、海光 Hygon、兆芯、飞腾等生态。

TiDB 支持的操作系统

在以下操作系统上，TiDB 可满足企业级生产质量的要求：

  • Red Hat Enterprise Linux
  • Rocky Linux
  • Amazon Linux
  • 麒麟欧拉版
  • 统信操作系统 (UOS)
  • openEuler
  • CentOS

以下操作系统 TiDB 不保障企业级生产质量要求：

  • macOS
  • Oracle Enterprise Linux
  • Ubuntu
  • CentOS Stream
  • Debian
  • Fedora
  • openSUSE
  • SUSE Linux Enterprise Server

此外，你还可以尝试在以下操作系统安装部署 TiDB：

  • FreeBSD
  • AlmaLinux

TiDB 支持的运管平台

TiDB 支持多种运维监控管理平台，以确保数据库的高效运行和维护。通过这些工具，用户可以轻松地管理和监控 TiDB 集群，以下是 TiDB 支持的主要平台。

TEM

TiDB 企业管理器（TiDB Enterprise Manager，简称 TEM）是一款以 TiDB 为核心的企业级数据库管理平台，兼容 TiDB 所有 LTS 版本。TEM 提供了对 TiDB 集群的部署、性能诊断、告警监控等全生命周期管理。帮助用户更加高效的管理 TiDB 集群，降低企业管理成本，提升管理效率。

TEM 核心特性主要包括：集群管理、SQL 编辑器、告警管理、备份恢复管理等。

1316×800 118 KB

Prometheus + Grafana

Prometheus 是一个拥有多维度数据模型的、灵活的查询语句的时序数据库。Grafana 是一个开源的 metric 分析及可视化系统。TiDB 使用开源时序数据库 Prometheus 作为监控和性能指标信息存储方案，使用 Grafana 作为可视化组件进行展示。

参考资料：

TiUniManager

TiUniManager 是一个数据库管理平台，用于操作和管理分布式数据库 TiDB。它允许用户通过 OpenAPI 或基于 Web 的 UI TiUniManager UI 管理 TiDB 集群。

TiUniManager 是一个开源项目，代码仓：https://github.com/pingcap/tiunimanager

参考阅读：

Apache SkyWalking

Apache SkyWalking 是一个开源的 APM (Application Performance Monitor) 系统，可以对云原生服务提供监控、跟踪、诊断等功能。SkyWalking 支持收集 Event（事件），可在 Dashboard 中查看分布式系统中发生了哪些事件，并可以直观地观测到不同 Event 对服务性能造成的影响，和 Chaos Mesh 结合使用，便可为混沌实验造成的服务影响提供监控。

参考资料：

DataSunrise

DataSunrise 数据库安全是一款先进的软件套件，可保护公司数据库、云存储系统和 LLM 通信中的敏感信息。DataSunrise 提供灵活的部署选项，提供多种配置选择，如数据保护、数据脱敏、敏感数据发掘、事件和统计数据报表等，以满足各种组织需求。

其他

TiDB 也可与其他监控平台集成，例如：Zabbix，Cloud Monitor，Nightingale 夜莺，zCloud，DataDog，DBMind，DBDoctor，Collectd，Nagios 等。

参考阅读：

如果你想了解 TiDB 的最新资讯，或是有任何关于 TiDB 的疑问，欢迎访问 TiDB 社区。https://tidb.net

5 个赞
4

全面，完备啊

5

我记得还有一个 TiDB的一天24小时，不过找不到了。

6

太全了，谢谢分享！

7

全家桶会越来越多

8

收藏了，太有价值了

9

怎么没有看到python 呢， python 是个大蟒蛇