AskTUG Weekly (20191125-20191202) 如何搭建 TiDB 主从集群环境?TiSpark 是如何写入数据的?

问答

Q1:【Mydumper】使用 Mydumper 从 TiDB 全量备份数据,准备导入 MySQL,-t 1 -F 32 的情况下还是会有 OOM。网上查说版本升级到新版本就行,但是我的都是新版本,请问是怎么回事呢?查看详情:Mydumper 新版本全量备份 OOM 断开

Q2:【DM】本地测试,数据库中带有"-",可以正常同步;同事使用 DM 1.0.2 同样的配置,报错:

["Error: DB: h3-supplier - Could not execute query: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '-supplier LIKE 't_supplier_cp_class_relation'' at line 1"] [task=h3] [unit=dump]

不带"-"的表可以正常同步:

# 黑白名单全局配置,各实例通过配置项名引用。
black-white-list:
global:
do-tables: # 需要同步的上游表的白名单。
- db-name: "~.*" # 需要同步的表的库名。
tbl-name: "~.*"

请问是怎么回事呢?查看详情:DM 配置白名单时,支持库名中带有"-"字符吗

Q3:【Lightning】 tidb-lightning 工作进行一段时间后,日志中报错 close write stream cause failed : rpc error: code = Unavailable desc = transport is closing。请问怎么解决呢?查看详情:Lighting 日志中 transport is closing

Q4:【DM】使用 DM 从 MySQL(版本5.7.24)实时同步 10 张表至 TiDB,同步中出现类型转换错误 cannot convert type: decimal.Decimal,不知道是什么原因?MySQL 中这个表有两个字段是 decimal 类型,记录经纬度的。这张表数据目前已经同步完成 90% 以上的数据。查看详情:使用 DM 从 MySQL 同步表到 TiDB,出现错误:Cannot convert type: decimal.Decimal

Q5:【TiDB】TiDB 版本:V3.0.5。在安装完 Pump 后,使用 ansible-playbook rolling_update.yml --tags=tidb 命令更新重启 tidb-server。重启成功后,发现 DM 增量同步任务失败了,进行 resume 操作无效。

请问是什么回事呢?查看详情:TiDB 安装 Pump 重启后,DM 任务失败且无法 resume

Q6:【TiDB】我想搭建一个套 TiDB 从集群,用于数仓的数据抽取和应用只读数据查询;

要求:最好能做到实时的数据同步和延迟不超过 15 秒;

从官网上看到 TiDB Binlog 通过 Pump 和 Drainer 同步到 TiDB 或者 MySQL 下,我通过测试环境下部署和数据校验发现数据不完全同步,需要执行生成的 fix.sql 文件,我想肯定是我选择的方法不对(这种方法不是 TiDB 主从集群)。问题:怎么搭建 TiDB 的主从集群环境(DM 了解到的是从 MySQL 同步到 TiDB 的服务)?查看详情:如何搭建 TiDB 主从集群环境?

Q7:【TiDB】TiDB 版本 3.0。请问如何均衡 TiDB 新增的节点数据?

Q8:【TiSpark】请问一下,TiSpark 里,在 spark-sql 里是不是不能直接用 insert 插入数据,必须要在 spark-shell 里调用 JDBC 才能写入数据?查看详情:TiSpark 是如何写入数据的?

活动

11 月份 TUG 共组织了 3 场线下交流活动,来自 VIPKID、UCloud、Hulu、贝壳找房、Bigo、早安科技、唯品会物流、执御、微拍堂、转转等 10 个 TiDB 用户公司的老师们分享了他们的 TiDB 实践经验,TUG 成员们现场共同探讨了“高可用架构设计与实践”、“TiDB 性能调优”、“双十一/黑五等高并发场景下的架构设计与实践”等主题。相关活动回顾和分享实录将于近期在 AskTUG 发布,敬请关注。

文章

  1. 对于运维和 DBA 小伙伴来说,监控报警是重要的关注点。TUG 社区小伙伴分享了一款 TiDB 监控报警对接企业微信的简便工具,工具开源,方便易用,再也不用担心漏掉监控报警了。

  2. TiDB 从 2.1.8 开始,information_schema 中包含了 SLOW_QUERY 表。SLOW_QUERY 表中提供了慢查询相关的信息,其内容通过解析 TiDB 慢查询日志而来,列名和慢日志中的字段名是一一对应。TiDB 慢日志解析源码解读 一文从 SlOW_QUERY 定义、慢日志文件的读取、慢日志的解析过程三个方面向大家介绍了 TiDB 慢日志是如何被解析的。

  3. 10 月份 TUG 北京区线下活动“TiDB 性能调优专场”中,现场小伙伴们分成了三组分别讨论了:

  • 如何调优系统、部署环境以及 TiDB 的各种参数,保障 TiDB 高效稳定运转?

  • 线上故障如何定位排查?

  • 如何优化 SQL 和 TiDB 相关的参数设定来改善在线业务的 latency 和 throughput 表现,控制运维操作对线上性能的影响?

    现场讨论结果,大家总结的经验可查看:北京“TiDB 性能调优专场”活动小组讨论结论


更多阅读:

AskTUG Weekly (20191118-20191124) DM 最新版本任务如何配置?如何查看 load data 后的详细信息?