【TiDB 4.0 PCTA学习笔记】-TiUP 部署 TiDB&k8s部署Tidb集群&将数据导入Tidb@3班+高龙

Day5

如何通过tiup部署tidb
Tiup 是 TiDB 4.0 版本引入的集群运维工具,替换Ansible

一切模块都是组件
生产环境部署
cluster
check
deploy
start
display
stop
scale-out
scale-in
upgrade
destroy
reload

重要:更新会重启-业务应该不会收到影响
https://github.com/pingcap/tiup/blob/master/examples/topology.example.yaml 配置文件

不能改
User 目录和端口

不能通过改配置文件去加机器 只能通过tiup命令

在 Kubernetes 上部署 TiDB 集群(k8s)

Kubernetes是Google开源的一个容器编排引擎,它支持自动化部署、大规模可伸缩、应用容器化管理。在生产环境中部署一个应用程序时,通常要部署该应用的多个实例以便对应用请求进行负载均衡。

Cgroups 控制
Namespace 隔离
Rootfs
k8s上部署tidb:
k8s基础概念
安装

将数据导入Tidb
Lightning:高速导入 sql文件和 CSV 文件格式的数据文件到 TiDB 集群;每小时 300 GB。
场景:大量新数据的快速导入;全量数据恢复
原理:扫描数据文件,区分出结构文件和数据文件;发送结构文件内容到 TiDB,用于建立数据库和表;并发处理数据文件。
并发设置:把数据文件拆分成多个能并发执行的小任务。
Dumpling 特点:采用 Golang;与Mydumper 类似的功能,支持并发高速导出 MySQL 协议兼容数据库数据;提供 SQL、CSV 等多种数据输出格式,以便于快速导出及导入;支持直接导出数据到云存储系统
Dumpling组成:配置解析;数据库信息预处理;一致性控制器;Black & White 列表;写控制器;表数据中间表示层
TiDB Data Migration (DM) :一体化的数据迁移任务管理平台,支持从 MySQL 到 TiDB 的全量数据迁移和增量数据复制
DM 三个组件:DM-master;DM-worker ;dmctl
DM-master :负责管理和调度
DM-worker:具体数据迁移
dmctl :命令行工具。