AskTUG Weekly (20191215-20191222) MariaDB 数据迁移问题,TiDB 3.0 如何快速安全删除上亿数据?TiDB 忘记 Root 密码怎么办?

问答

Q1:【Drainer】Drainer 同步数据的时候遇到了下游 RDS 执行报错的 DDL 语句。按照官网的做法,需要找出报错的 DDL 的 commitTs,然后在 drainer.toml 文件中加上 ignore-txn-commit-ts = {报错的 DDL 的 commitTS},但是现在在 drainer.log 中找不到报错 DDL 的 commitTs,但是在v3.0.4 中能够找到,请问在这种情况下需要怎么处理这个问题?(ps:生产环境不敢轻举妄动)。查看详情:v3.0.1 版本怎么定位 Drainer 报错 DDL 的 commitTs?

Q2:【数据迁移】数据从 MariaDB-10.2.16 迁移到 TiDB 中,导出使用 Mydumper,源数据库有 74G 数据,导出时间 3 个小时,导出服务器 2C 8G 配置,导出后 SCP 到另外的服务器做导入,导入服务器配置为 8C 32G。数据导入使用 Loader,导入耗时近 5 个小时,请问:

  1. 如何提高输入导入性能?后面还有很多数据迁移。
  2. 数据导入后,在 TiDB 的 information_schema.tables.table_rows 值为 0,做了 analyze 后值仍然为 0,表中有上亿的数据。
  3. 导入的时候,发现有慢 SQL,使用 pt-query-digest 观察发现大部分都是 commit,一次 commit 耗时接近 6 秒,有没有参数可以优化这个 commit,比如调整 innodb_flush_log_at_trx_commit 为 0 或 2 是否有效?查看详情:MariaDB 数据迁移问题

Q3:【TiDB】Docker Compose 快速构建 TiDB 集群,Win10 环境 CMD 下输入 mysql -h127.0.0.1 -P 4000 -uroot -p

Enter password:

ERROR 2013 (HY000): Lost connection to MySQL server at ‘reading initial communication packet’, system error: 0

观测到 tidb-docker-compose_tidb_1,tidb-docker-compose_pd2_1,tidb-docker-compose_pd1_1,tidb-docker-compose_pd0_1,每过几分钟会重启不知道什么问题,另外 tidb-docker-compose_tispark-slave0_1,tidb-docker-compose_tispark-master_1,已经关闭了,内部环境不使用 Spark 进行分析。查看详情:使用 Docker Compose 快速构建 TiDB 集群后,访问集群出错

Q4:【TiDB】有个数仓类的需求,需要将 3 个业务库数据汇聚起来,做一些 BI 相关的数据分析,3 个业务 MySQL Schema 数据量都在 500G+,计划实时同步至 TiDB 集群(类似 MySQL 的多源复制,将多个实例实时复制到一个实例)。针对这样一个需求,我看了下官方文档对机器配置要求

### 生产环境

|**组件**|**CPU**|**内存**|**硬盘类型**|**网络**|**实例数量(最低要求)**|

| --- | --- | --- | --- | --- | --- |

|TiDB|16核+|32 GB+|SAS|万兆网卡(2块最佳)|2|

|PD|4核+|8 GB+|SSD|万兆网卡(2块最佳)|3|

|TiKV|16核+|32 GB+|SSD|万兆网卡(2块最佳)|3|

|监控|8核+|16 GB+|SAS|千兆网卡|1|

这里面没有说明磁盘容量的规划,不知道针对我这个需求,磁盘容量需要怎么规划?我计划是购买一台高配 PC Server 做虚拟化。查看详情:数仓项目,集群部署规划问题

Q5:【TiDB】TiDB 3.0 删除上亿数据,有没有什么好的办法?这边数据库有 200多亿 数据,想要删除 100亿 左右的,能不能提供个快速删除并安全的办法?查看详情:TiDB 3.0 如何快速安全删除上亿数据

Q6:【SQL】数据量 4kw,进行分组查询速度超过1s。查看详情:进行分组查询速度太慢

Q7:【TiDB】多数据中心适用场景:

  1. TiDB 最小能以什么单位进行数据副本数的设定?
  2. 像 Cassandra,可以明确的以 Keyspace 的单位指定每个数据保持多少副本(replication_factor),在 TiDB 中类似需求需要怎么设定或架构呢?
  3. 在只读查询时,如果不需要太高的一致性,只想在本地数据中心范围内读取数据,这种情况下 TiDB 能不能避免跨数据中心的通信消耗,只在本地数据中心完成查询?
  4. 当收到写入请求时,TiDB 是必须等待所有的数据中心处理成功后给客户端返回结果还是可以更灵活的设置?比如说半数以上的数据中心写入成功即可返回结果。
    查看详情:有关多数据中心场景下的一些疑问

Q8TiDB 忘记 Root 密码怎么办?

Q9:【TiDB】我想把 TiDB 的 4000 端口,改成 3306。参考文档,说是修改 inventory.ini 文件,在相应服务 IP 后添加以下主机变量即可。可是我看完这句话,不明白怎么写,能给个例子吗。

[tidb@pd-tidbserver tidb-ansible]$ cat inventory.ini

[[tidb_servers]

172.16.2.134

查看详情:如何自定义 TiDB 的端口

活动

11 月 22 日,北京 TUG 的第四场线下活动如约而至,大家一起走进 VIPKID,探讨“高可用架构设计实践”。

  1. VIPKID 的两位资深数据工程师郝海民和许超为大家介绍了 VIPKID 的双云跨云容灾架构;
  2. UCloud 的资深研发工程师常彦德老师带来了 “UCloud TiDB Service 高可用架构”;
  3. Hulu 的基础架构研发工程师苏经纬为大家分享了 “CapOS: Hulu 高性能容器计算平台”。

分享 PPT 大家可以在活动回顾中自取。

为了更好地了解大家对于 TiDB 的需求,TiDB 开发者社区将联合 TUG 举办“我的 TiDB 听我的”活动。活动将收集来自 TiDB 使用者的真实需求,并将呼声最高的功能和改进放到 TiDB 的版本迭代中。大家对 TiDB 有什么需求都大胆提出来吧!

为了使 TUG 社区获得更好的发展,也希望不断完善你在社区中的体验,在 2019 年即将结束之际, TUG 准备了一个匿名调查问卷,希望大家都能积极参与调查,告诉我们你对 TUG 的看法、明年的期望。问卷地址:https://www.wjx.cn/jq/51874782.aspx


更多阅读:

AskTUG Weekly (20191208-20191215) TiDB 4.0 剧透;写在通过 PCTP 考试一个月之后

1赞