AskTUG Weekly (20190909-20190915)

问答

Q1:【PD】初始化一个新增 PD 节点之后,部署该节点并登录,编辑启动脚本后查看 pd.log 日志发现报错:run server failed: couldn’t find local name “pd4” in the initial cluster configuration。详情查看:TiDB 新增 PD 节点提示在初始群集配置中找不到本地名称“pd4”

Q2:【SQL】我的理解里有索引或者统计信息这个行数查询会很快,但一个几十亿行的表,要花 2 分钟左右才出结果。有主键。 有什么办法优化吗?详情查看:如何提升 count(1) 的查询速度

Q3:【TiKV】集群节点分布为:2 个 DB, 3 个 PD, 8 个 TiKV,删除大量数据后发现空间回收较慢,然后根据官方文档准备调整 gc 时间和并发度参数时发现 tikv_gc_last_run_time、tikv_gc_safe_point 的值异常。详情查看:删除大量数据后空间回收慢,tikv_gc_last_run_time、tikv_gc_safe_point 的值异常

Q4:【TiDB】监控 Region health 发现有缺副本的 Region 高达 10.54k,请问如何把缺失的这些Regions 恢复?详情查看:数据从 MySQL 中导入到 TiDB 集群后,发现 3 个 TiKV 的Region 分布不均匀?

Q5:【DM】DM 启动任务失败。start-task task-test.yaml,需要同步的 MySQL 是阿里云的 RDS

报错如下:


{

"result": false,

"msg": "[code=26002:class=dm-master:scope=upstream:level=high] fail to initial checker: failed to open DSN :***@:0\ngithub.com/pingcap/dm/pkg/terror.(*Error).Generate\n\t/home/jenkins/workspace/build_dm_master/go/src/github.com/pingcap/dm/pkg/terror/terror.go:232\ngithub.com/pingcap/dm/checker.(*Checker).Init\n\t/home/jenkins/workspace/build_dm_master/go/src/github.com/pingcap/dm/checker/checker.go:129\ngithub.com/pingcap/dm/checker.CheckSyncConfig\n\t/home/jenkins/workspace/build_dm_master/go/src/github.com/pingcap/dm/checker/cmd.go:50\ngithub.com/pingcap/dm/dm/master.(*Server).generateSubTask\n\t/home/jenkins/workspace/build_dm_master/go/src/github.com/pingcap/dm/dm/master/server.go:1847\ngithub.com/pingcap/dm/dm/master.(*Server).StartTask\n\t/home/jenkins/workspace/build_dm_master/go/src/github.com/pingcap/dm/dm/master/server.go:220\ngithub.com/pingcap/dm/dm/pb._Master_StartTask_Handler\n\t/home/jenkins/workspace/build_dm_master/go/src/github.com/pingcap/dm/dm/pb/dmmaster.pb.go:1530\ngoogle.golang.org/grpc.(*Server).processUnaryRPC\n\t/go/pkg/mod/google.golang.org/grpc@v1.17.0/server.go:966\ngoogle.golang.org/grpc.(*Server).handleStream\n\t/go/pkg/mod/google.golang.org/grpc@v1.17.0/server.go:1245\ngoogle.golang.org/grpc.(*Server).serveStreams.func1.1\n\t/go/pkg/mod/google.golang.org/grpc@v1.17.0/server.go:685\nruntime.goexit\n\t/usr/local/go/src/runtime/asm_amd64.s:1337",

"workers": [

]

}

详情查看:DM 启动任务失败,报错 failed to open DSN

Q6:【DM】DM 在 binlog 事件转为 SQL 执行的调度过程中并未按 MySQL 的原始事务提交,最终结果相当于分拆了事物,同步过程进行时,外界查询有可能会只查到同一个事务的部分数据。想了解一下,DM 后续的开发计划是否有这方面的改良,在同步时支持按 MySQL 原始事务的粒度来导入,并支持并发同步(类似 MySQL 5.7 的实现方式)。详情查看:DM 是否有计划支持按 MySQL 源事务并发同步

Q7:【DM】启动 worker 后,log 里出现大量如下错误 [2019/09/11 13:28:01.702 +08:00] [ERROR] [common.go:35] [“parse statement”] [sql=“SAVEPOINTSAVEPOINT_1”] [error="line 1 column 9 near “SAVEPOINTSAVEPOINT_1” "] 详情查看:DM 新版本启动 worker 后报错

Q8:【TiKV】阿里云购买的机器,挂载 SATA HDD 本地盘,ansible 安装的时候,TiKV 检测磁盘混合读写性能时,报如下错误:

和阿里云沟通后发现阿里云官方的测试脚本和 TiDB 安装过程中 ansible 检测 TiKV 混合读写性能的脚本有很大差别,请问买阿里云的固态硬盘参数有什么要求吗?详情查看:阿里云购买的挂载 SATA HDD 本地盘的机器 TiKV fio 检测没有通过

Q9:【DM】历史 DM 版本为 v1.0.0-alpha 尝试升级 GA 版本, 先通过ansible-playbook rolling_update.yml --tags=dm-worker -l xxx的方式单独升级了一个worker 升级后报“Error 1045: Access denied for user ‘user’@‘xxxx’ (using password: YES)”错误。详情查看:升级 DM 1.0.0 GA 出现 Access denied for user 错误

Q10:【TiDB】请问 TiDB 集群中 tidb-server 的连接数怎么控制?在文档中看,不支持 max_conection max_user_conneciton 之类的参数,那么我怎么控制并发,超过并发数的连接是拒绝还是连入 tidb-server,然后处于 sleep 状态,或者说是否有类似线程池的功能,初始化一部分连接给前端用呢。详情查看:TiDB 的连接数

文章

8 月份 TUG 华南区首次线下活动中,随手科技大数据工程师韩超为大家分享了随手科技在 TiDB 的探索之路,介绍了随手科技大数据业务建设过程中使用 TiDB 的情况,遇到的问题和解决方案。360 金融数据小组负责人黄龙分享了 360 金融的实时渠道转化分析中是如何使用 TiDB 的:TiDB 在实时渠道转化分析的应用

8 月份 TUG 上海区首次线下活动中,TUG 上海区 Co-leader 王志广为大家分享了 TiDB 私有云实践,介绍了一种有别于官方的 TiDB 容器化解决方案。

使用 TiDB Ansible 部署 TiDB 集群,会同时部署一套 Grafana + Prometheus 的监控平台,这套监控用来收集和展示 TiDB 集群各个组件和机器的 metric 信息,这些 metric 信息非常丰富,可以帮助使用者分析 TiDB 集群的状态以及 Trouble shooting。随着使用经验的增多,我们积累了一些监控使用上的技巧,在这里分享给大家:实用技巧分享:如何高效利用 Grafana 监控分析 TiDB 指标?

对于 MySQL DDL 来说,在 ONLINE DDL 之前,在线上直接执行 DDL 会是一件非常恐怖的事情。幸好 PT-OSC 和 这两年比较流行的 GH-OST 解决了这一难题。对于 TiDB DDL 来说,也有 DDL 相关原理的文章,本文从使用者的角度谈谈 DDL 这类重量级操作的前世和今生:谈谈 DDL 的前世今生

威锐达远程诊断大数据中心是以风场端 WindCMS 风机振动在线监测系统为前端基础,配合在离线数据回收工具,在威锐达公司内构建的一个满足人工故障诊断、机器学习与数据挖掘、BI 可视化统计等各种业务数据需要的综合大数据中心。威锐达的分布式、可扩展数据存储方案最终选择将 TiDB 数据库作为关系数据存储,其实践查看:TiDB 在威锐达远程诊断大数据中心的应用


相关阅读:

AskTUG Weekly (20190902-20190908)

2赞