课程名称:3.4tidb管理&br&ticdc
学习时长:30
课程收获:
tidb管理
备份恢复工具br
ticdc同步工具
课程内容:
tidb管理
as mysql create user
set password for user = password
本地连接root不需要密码
不支持单个用户的资源限制
as mysql grant and revoke
remoke 不支持模糊匹配
查看用户权限可以参考mysql
flush privileges 实时生效
不支持列权限控制 不常见的权限未验证
rbac兼容mysql8.0
create role
drop role
grant revoke to role
grant/ revoke role to/fromuser
show grant for user
set role to user
备份恢复工具br
3.1及以上版本 支持在全新集群恢复
备份恢复最好是串行
br下发备份恢复命令发送备份恢复任务到tikv通过pd下发,真正下发者是pd。
备份文件中具备备份数据和元数据 通过命令可以查看
br恢复需要全新计算和对备份文件的全部访问权限
备份前需要设置tikv的gc时间大于备份时间,tikv根据事务号查询mvcc版本时间定位文件 gc过短会引发数据问题
备份单位 全部 数据库 表
备份限制速度
日志级别
指定备份目录
备份时间戳 事务号
是否进行数据完整性文件 检验备份文件和tikv数据的检验和
增量备份以前一次全量备份为基础 增量备份目录需要不同于前一次算量备份的目录 gc safepoint 必须早于前一次算量备份时间
br恢复
需要访问全量备份文件 通过元数据生成库表信息 sst文件对应数据 按照表进行聚合 再按照region进行并发
使用本地存储需要把备份数据全量拷贝到各个tikv的存储上,因为恢复后位置不确定。这也是每个恢复的tikv可以访问算量备份数据
全量恢复完成才可以进行增量恢复
常见错误
key lock error br备份过程遇到锁会自动清除是预期错误 一般不用处理
目标不是干净时候 会报io already exist ed
恢复报错could not read local 恢复节点无法读取全量备份文件,确认tikv对目标目录的读写权限,因为真正的执行者是tikv
br恢复时偶遇到io报错 有可能是文件系统问题
ticdc同步工具
change data capture 实时同步工具,同步tidb数据到不同数据系统
高可用 数据高可用 自动故障转移
高性能 replication lag 3s 直接拉取tikv
丰富生态系统 mysql kafka
环型同步 多个独立tidb集群同步
. tiup 部署 可以通过扩容方式实现已有集群的部署ticdc 至少2实例实现auto fail over
pd为上游 sink为下游可以设置mysl配置参数在url中
同步表必须具备主键或者唯一索引 至少有一个唯一索引是在table schema中定义的并且不能为空
不支持raw kv tikv cluster
不支持sequence
不支持tikv hibernate region
环形同步是最终一致的,不存在冗余数据
mark表需要在所有集群创建
环形同步中ddl同步只能在一个集群同步,切在链路中必须打断