AskTUG Weekly (20200511-20200517) DM load 慢,有强制删除某个 DDL 的操作吗,对比 TiDB Join 优化的疑问,TUG 首次线上直播活动开启

问答

Q1【DM】:TiDB 版本 3.0.5,DM 版本 1.0.3,DM 原来运行的还可以但是在 8 点之后就有问题。之后反复使用 stop-task、start-task,load 进度有所增加,但一直不能进入正常运行状态。之后就对 task 的配置文件进行了调整在最下面改了两个值,但也不行。请问是怎么回事呢?查看详情:DM load 慢

Q2【TiUP】:使用 TiUP 扩容 3 台 PD,启动不起来( 之前在这 3 台上成功扩容 TiDB 和 TiKV )。查看详情:TiUP 扩容 PD 异常:there is a member that has not joined successfully

Q3【DDL】:TiDB 中 DDL 语句被阻塞,后台一直有 DDL job 处于 cancelling 状态中。请问有强制删除某个 DDL 的操作吗?

Q4【TiDB】:TiDB 版本:V4.0,安装方式 TiUP。

疑问1:我在安装 TiDB 的时候发现了两个熟悉的端口号 2379/2380 ,它是 etcd 的默认安装端口,TiDB 与 etcd 有什么联系吗?或者说是在底层默认安装了etcd 服务吗?

疑问2:我在使用 TiUP 安装 TiDB 服务的时候,发现 TiUP 会使用外网来自动下载关于 pd/tidb/kv/prometheus/grafana/node_export 的安装包,请问这些安装包会下载到哪里? 下载好之后,我可以将这些安装包拷贝到其他服务器可以实现无网络安装吗?

疑问3: 继承了上一个问题,当在全内网环境下,没有中转机,如何使用 TiUP 对 TiDB 进行集群部署?

疑问4: 安装 TiDB 服务时,发现文档好多都有 MySQL l的命令,安装 TiDB 服务需要预先安装 MySQL 吗?据文档了解他们只是可移植关系。

查看详情:对 TiDB 架构的疑问

Q5【DM】:目前 DM 要采集多个业务系统的 MySQL 数据,每个业务系统的 MySQL 库中会有多个数据库实例(少了十几个,多的将近 100 个),现在处理方法是每个 MySQL 实例都创建一个 task,这样就导至 DM 集群当中有很多个 task 在实时同步,TiDB 集群那边连接数也非常高,导致 TiDB 的资源都被 dm worker 给占用的差不多了。

针对这种情况将同一业务系统的多个 MySQL 实例放在一个 task 中,这样会不会节省 TiDB 的资源?另外如果都放在同一个 task 当中,后期可能会造成一个库同步有问题,其他库也同步不了了。这些比较纠结,目前有什么好的经验么?查看详情:DM 任务处理讨论,实时同步 MySQL 数据库

Q6【TiDB】:TiDB 版本:3.1.0-RC。同一条 JOIN 语句,对比 TiDB 和 MySQL 的执行计划,发现 TiDB 扫描 JOIN 的数据是 MySQL 的 20 多倍,耗时也是 MySQL 的十多倍。请问应当如何优化呢?查看详情:对比 TiDB JOIN 优化的疑问

Q7【TiKV】:TiKV 节点有一块磁盘满了,导致进入不了数据库,想重新启动集群,一直起不来。TiKV 磁盘满了,重启 TiDB 集群失败

Q8【TiDB】:分库分表合并同步任务报错,之前已经正常运行了任务,今天早上发现同步报错,提示上游 MySQL 连接超时,connect: connection timed out,已经检查了 TiDB 有同步上游 MySQL 的权限,执行过 stop-task,start-task,未解决问题。查看详情:分库分表合并同步任务报错,连接 mysql time out

Q9【TiDB】TiDB 3.0-ansible 的 Prometheus 老是报端口被占用

Q10【DM】:TiDB 版本:v4.0.0-rc.1 / v1.0.4-hotfix。同步了两个多月了,今天凌晨修改 purge 之后,下午出现主键重复的错误。都是单表同步单表,没有分库分表和多个上游表映射一个下游表的问题。查看详情:DM sync 阶段,报错Duplicate entry

文章

TiDB 从 3.0.7 升级到 4.0.0-rc,并部署了 TiFlash,一起来看看部署测试结果如何:TiDB 升级、TiFlash 测试及对比 ClickHouse

活动

时值五月,国内疫情已接近尾声,TUG 小伙伴们期待已经的活动也终于重启。作为 TUG 换届后的首次线上大型活动,本次活动以数据库从业者都很关心的“数据库架构选型”为主题,并邀请了 Elasticsearch、MongoDB 和 TiDB 的专家一起,为大家分享这三款受欢迎的开源数据库的场景和实践。在 Talk 分享结束后,还有精彩的圆桌讨论环节,嘉宾将围绕数据库选型的底层逻辑、如何判断开源社区的活跃度等问题碰撞出灵感的火花。TUG 首次线上大型直播来袭!数据库架构选型:当TiDB 遇到 MongoDB 遇到 ES


更多阅读

AskTUG Weekly (20200427-20200503) TiDB 的字符集问题,欢迎参加 Talent Plan 课程学习,如何分析和解决 TiDB 4.0 的写热点问题