AskTUG Weekly (20200302-20200308) ARM 编译出错,Hive 上的 1000 亿条数据如何快速迁移到 TiDB,TiDB 4.0 增强的 SQL Hint

问答

Q1:【数据同步】 TiDB 版本 3.0.3,在同步数据的过程中出现以下报错,上游是阿里云 relay.meta 中的 binlog-pos 是增长的。

1:query-status taskname查询的日志

2:dm-worker的日志

请问是什么原因呢?查看详情:同步阿里云报错

Q2:【DM】 TiDB 版本 3.0.1,DM 版本 1.0.3,上游 MySQL 大表早上 5 点执行加字段,pt 工具执行,TiDB 这边知道中午 12 点左右才同步追上。

我看了 TiDB 集群监控,常规的 CPU、内存、IO,在 5-12 点期间没发现太高的值。请问这个需要怎么排查瓶颈点?查看详情:上游 MySQL DDL,DM 同步延迟近 7 个小时

Q3:【TiSpark】 TiDB 版本 3.0,beeline 连接 Tispark thriftserver 时执行: insert into CUSTOMER_2 select * from CUSTOMER; 出现报错 Error: com.pingcap.tikv.exception.TiBatchWriteException: SparkSQL entry for tispark write is disabled. Set spark.tispark.write.allow_spark_sql to enable. (state=,code=0)


Set spark.tispark.write.allow_spark_sql=enable;

+--------------------------------------+---------+--+

| key | value |

+--------------------------------------+---------+--+

| spark.tispark.write.allow_spark_sql | enable |

+--------------------------------------+---------+--+

可是设置后还是不能写入数据。请问如何处理呢?查看详情:beeline 连接 tispark thriftserver Set spark.tispark.write.allow_spark_sql=enable 之后还是不能写入数据到 TiDB

Q4:【TiKV】 TiDB 版本 3.0.8,tidb_lightning 导入数过程中,服务器宕机重启后,TiKV 节点无法恢复正常工作,region 信息丢失。重新启动 TiKV 节点没有问题,但是监控看到 TiKV 节点 down, 有时候一个有时候两个,tikv_importer.log 没有错误信息。查看详情:tidb_lightning 导入数过程中,服务器宕机重启后,TiKV 节点无法恢复正常工作,region 信息丢失

Q5:【日志】 TiDB 版本 3.0.3,DM 版本 1.0.3,dm-worker 的日志打印正常,realy log 的日志停止打印,日志日期是在 2020-02-26。task 任务的状态为 running,下游数据同步时间也停止在2020-02-26。请问是什么原因呢?查看详情:realy log 日志打印停止

Q6:【ARM】 因为需要在 ARM 服务器上打 TiKV 镜像,参考了 TUG 上问答和两篇文章:

用的 CentOS 7.6,内核 4.14.0-115.el7a.0.1.aarch64,但是在构建 TiKV 二进制时出错。查看详情:ARM 服务器上编译 TiKV 出错

Q7:【TiKV】 TiDB 版本:2.1.6,Ansible 部署。集群节点分布:

尝试用 pd-ctl 下线 TiKV2-1:-d store delete 5,发现该 store 的 state_name 由 up 变为 offline,region_count 由 7109 逐渐下降,但降到 10 后卡住,不再下降,state_name 也一直不变为 tombstone。请问为什么?如何解决?查看详情:TiKV 下线卡住

Q8:【Binlog】 TiDB 版本 3.0。在现有的集群上,启用 Binlog,TiDB 无法启动,停止在 wait until the tidb port is up。查看 tidb_stderr.log,发现报错:invalid config txn-total-size-limit should be less than 104857600 with binlog enabled,但是没有找到这项配置在哪个配置文件里。也不知道是否这个错误引起 TiDB 无法启动。查看详情:在现有的集群上启用 Binlog,TiDB 无法启动

Q9:【网络】 TiDB 版本 3.0.3,DM 版本 1.0.2,dm-worker 的 dm-worker.log 日志打印和 realy log 日志打印正常,在启动 task 任务检查时报错。上游数据库附有相关的权限,上游数据库没有进行重启或者是切换网络。但是出现任务启动网络异常,请问是怎么回事呢?

Q10:【数据迁移】 TiDB 可以用于大数据场景吗,Hive 上的 1000 亿条数据怎么快速迁移到 TiDB

活动

本周末,TiDB 社区伙伴们将在 48 小时内共同完成开源电子书《TiDB in Action》,此外我们将在 B 站开启 36 小时直播(周六 9:00 - 周日 21:00),大家除了可以围观“分布式写书”的过程,还可以收看 TiFlash、Tiops、DBaaS 等一系列“秘密武器” 的现场 Demo:TiDB Book Rush! 36 小时直播收看指南

文章

好的优化器需要在尽可能少的开销下找到尽可能好的执行计划,由于种种原因,如统计信息过期,独立性假设/均匀分布假设失效,未知的函数依赖等,要实现这两个在某种程度上互相矛盾的目标其实很难,就算是数据库学界对这个问题研究了这么多年也还是没有找到普适性的解法。我们在 4.0 中新增了很多 SQL Hint 用来提高 DBA 在查询级别对优化器和执行引擎的控制力。TiDB 4.0 新特性前瞻:增强的 SQL Hint


更多阅读

AskTUG Weekly(20200224-20200301)转库导表异常如何解决?TiDB 所在机器内存不足、没有动这个参数在哪调?聚美 & 360 分享 TiDB 在不同场景中的落地实践