AskTUG Weekly (20200309-20200315) TiDB 启动顺序是什么?从库 TiKV Leader 数相差特别大,PingCAP University 上新:TiDB 五周年两大利器即将上线

问答

Q1【DM】: DM 同步阿里的 RDS 库该如何同步 worker 中的 relay_binlog_gtid="" 该如何设置?查看详情:DM 同步阿里的 RDS 库该如何同步?

Q2【SQL】:TiDB 版本:3.0.9,配置文件

mem-quota-query = 8589934592
oom-action = "cancel"

执行了一个sql后报错。

sql:

SELECT ...
FROM ... WHERE 1=1 AND pay_type in ('1') GROUP BY out_trade_no,pay_type_name,op_order_id,account_belong,settle_cycle,supply_finish_amount,supply_category_names,supply_trade_type_names limit 1000000

没有用到索引,全表扫描,表有40G。报错:执行SQL查询失败, ErrorCode: 0, SQLState: 08S01, detail: Communications link failure

The last packet successfully received from the server was 46,485 milliseconds ago. The last packet sent successfully to the server was 46,485 milliseconds ago.

查看详情:TiDB 设置了 oom-action=cancel 但还是 OOM 了

Q3【Tools】Drainer 异常退出,无法启动

Q4【BR】:TiDB 版本:3.1.0-beta.1,使用 BR 进行备份测试的时候发现备份完之后,备份的目录为空并且日志有报错信息。请问是什么原因呢?查看详情:TiDB 3.1.x BR 备份报错

Q5【TiKV】:TiDB 版本 3.0.6,从库 TiKV Leader 数相差特别大,不知道是什么原因引起的。查看详情:从库 TiKV Leader 数相差特别大

Q6【TiDB】:TiDB 版本 V3.1.0-beta,执行 repalce into xx select … 的时候报错,但是 replace into xx values() 没有问题。查看详情:replace into 报 bad number 错误

Q7【TiDB】:如果我一个集群有 TiDB、PD、TiKV、Pump、Drianar、Grafana 这些服务,他们的启动顺序应该是怎么排序的?查看详情:TiDB 的启动顺序是怎样的?

Q8【TiKV】:服务器断电之后重启,我清理了一下 deploy/log 下的所有日志。然后用 Ansible 启动集群,中间有一台服务器报错:[192.168.3.130]: Ansible FAILED! => playbook: start.yml; TASK: wait until the TiKV port is up; message: {“changed”: false, “elapsed”: 300, “msg”: “the TiKV port 20160 is not up”}

查看了 3.130 服务器 20160 端口,没有被占用。请问是什么原因呢?查看详情:启动集群报错:playbook: start.yml; TASK: wait until the TiKV port is up

Q9【DM】

  1. 数据在增量同步的过程中 sync 状态无法读取主服务的 relay log 日志导致在同步的过程中数据不同步,而任务还是 running 状态。
  2. dm-worker 的 relay.meta 不增长。
  3. 在重新启动 worker 的时候 relay.meta 恢复正常,日志也不报错,这是什么情况呢?查看详情:数据在增量同步的过程中 sync 状态无法读取主服务的 relay log 日志

Q10【TiKV】:我们目前的 TiDB 集群是 3 个 TiKV server 。我们现在遇到一个磁盘扩容和 IO 的问题。

问题一:我们现在的磁盘是 1 块 2T 的 raid 0 。考虑到后期数据增长超过 2T 的数据,我们要扩容,后期继续加一块或者多块盘,数据是否可以支持多块盘存储?不行的话磁盘扩容怎么扩容呢?

问题二:关于 IO 的问题,IO 达到瓶颈的话,我在 TiKV 服务器上增加一块或者多块盘,是否可以缓解,如果无法解决,你们有没有什么方案推荐。

还有一个关于 Raid,你们是怎么建议呢?查看详情:TiKV 底层存储,磁盘的问题

文章

公司从 2017 年 9 月开始上线 TiDB,目前有 2 套 TiDB 集群。最开始使用是在集群 2 上使用,该集群目前有 1W+ QPS,主要是批量写入的场景,复杂读取,主要是给数据中心使用的。另一个集群有 100亿+ 条记录,集群上有十几个业务,是实时写入的场景。这套集群数据库量比较大,但是读取量和写入量并不是很大。两套集群一共有 20+ 台服务器。TiDB 在某餐饮 SaaS 服务商的实践及海外机房构建

活动

PingCAP 打磨两年,推出全新列存引擎 TiFlash,通过 Raft 中的 Learner 角色,将上游来自业务端的 TP 数据实时转换成列存格式,在极高压缩比、天然物理隔离的同时,提供高性能的实时分析,并能实时更新,实现 True HTAP;去年下半年将 TiDB Operator 开源,今年更是着重发力 DBaaS。PingCAP University 将这两大内容纳入全新的 PCTA(PingCAP Certified TiDB Associate)认证之中,早早备好新课程,让大家一览无余,快快掌握 TiDB 五周年的两大利器:TiFlash 和 TiDB Operator。PingCAP University 上新:TiDB 五周年两大利器即将上线


更多阅读:

AskTUG Weekly (20200302-20200308) ARM 编译出错,Hive 上的 1000 亿条数据如何快速迁移到 TiDB,TiDB 4.0 增强的 SQL Hint