AskTUG Weekly (20191021-20191027)

问答

Q1:【TiKV

如图,TiKV 一直出不来,请问是什么原因,如何排查?查看详情:TiDB 部署问题

Q2:【DM】使用 DM 进行数据迁移,由于之前已经配置过 task.yaml 任务,想再添加一个实例的配置。已经修改 inventory.ini,dm-master,然后将 DM 集群关闭,并重新更新了配置文件,再次重启 DM 集群。集群启动之后,并没有启动t ask.yaml 任务,我公司的 Zabbix 会有大量流入流出的流量报警,不清楚为什么刚开启会有这么大的流量,DM 在做什么,然后登录 dmctrl 查看任务没有,请问这个是怎么回事?另外,之前的 task.yaml 的记录如何清除?查看详情:关于 DM 启动的问题

Q3:【并发】计划使用私有云部署 TiDB,请问下面的硬件配置能否支持多大的并发? 服务器:DELL PowerEdge R740/R740XD 处理器:2颗英特尔至强银牌 4216 2.1G, 16C/32T, 9.6GT/s, 共32核 磁盘:5块2TB 7.2K RPM NLSATA 12Gbps 512n 内存:64G。查看详情:并发问题:5台DELL PowerEdge R740,2处理器:英特尔至强银牌 4216 2.1G, 16C/32T,能支持多大并发

Q4: 【索引】最近阅读了 TiDB 的官方文档,也搜索了一些有关 group by,组合索引之类的文档。我们有一个需求,所以可以对上这个问题。举个例子,百亿级别的数据,场景如下,怎么建索引呢? select sum(pv),user_id,city,product_id,entity_id,sub_id,time_num from tb_pv where user_id = ‘’ and city = ‘’ and product_id = ‘’ and sub_id = ‘’ and entity_id in () and time_num between ‘20191001’ and ‘20191101’ group by entity_id,time_num order by … limit ; 查看详情:咨询一个组合索引的使用问题

Q5:【选型】我们的场景需要多写少读,但是读的时候是大量聚合汇总的。比如一个有三十个字段的表,可能有十个中的若干个用于 group by,其他的字段只是单纯的汇总。也有排序和分页的需求,不知道 TiDB 在这种场景的性能怎样?有没有什么设计规约? 查询几乎全部为多字段 group by 分组查询,响应时间要在 1 秒以内。数据量规模也很大,暂时无法明确评估总量,但一次聚合很可能是千万级别的数据量聚算,是否适合使用 TiDB?查看详情:咨询技术选型,tidb在多维度汇总上的性能与设计

Q6:【Cloud】本地用 tidb-docker-compose,但想体验分布式环境中的 TiDB 特性。在 AWS 上用 TIDB-Operator 跑了几次,费用昂贵。大家是在哪里申请的服务器资源呢?查看详情:如何申请服务器的资源?

Q7:【TiKV】刚开始 tikv-import 是可以启动的,但是使用 tidb-lightning 导入本地 CSV 文件到集群中,多次导入失败,便多次调整配置参数,由于 CSV 数据文件可能有误,导致tidb-lighting 无法导入数据,一直启动不了,后重启 tikv-importer。发现 tikv-importer 一直启动不了,请问是什么原因呢?查看详情:tikv-importer无法正常启动,原因可能是data.import 目录下的只读文件有问题

Q8:【TiDB】按官网部署说明来操作,操作命令


cd /home/tidb/tidb-ansible && \

sudo pip install -r ./requirements.txt && \

ansible --version

时报错:ERROR! Unexpected Exception, this is probably a bug: name ‘platform_system’ is not defined,系统版本:CentOS Linux release 7.3.1611, Python 2.7。请问这种情况怎么解决 ?查看详情:安装 TiDB 时报错

Q9:【TiDB】5 个节点集群,其中 TiKV 开始为 3 个节点,后扩容至 5 个节点,将原来 3 个节点中的两个节点踢出集群的时候,长时间处于 offline 状态,强制改成 Tombstone 状态导致集群不可用,请问如何解决?查看详情:TiDB 集群 TiKV 强制下线,集群不可用

Q10:【DM】TiDB Data Migration 是否支持 MySQL 8.0?如果不支持,大概在什么时候的版本会支持 MySQL 8.0?查看详情:TiDB Data Migration 是否支持 MySQL 8.0?

活动

10 月 19 日,上海 TUG 又带领成员们走进了沪江,学习和了解沪江的技术架构与 NewSQL 实践。活动现场,沪江基础架构部负责人黄鑫为大家分享了“沪江总体技术介绍”;同样来自沪江基础架构部的资深研发工程师张丽斌为大家带来了“TiDB 在沪江数通平台的应用”;最后来自 PingCAP 的 TiDB 用户生态技术专家陶政为大家带来 “分布式数据库 TiDB 的架构与设计”。

10 月 20 日, TUG 北京区在知乎举行了“TiDB 性能调优”的专场活动。TUG Ambassador & 360 数据库运维专家代晓磊现场分享了“TiDB 在 360 商业化业务的应用与调优实践”;TUG Co-Leader & 贝壳找房数据总监侯圣文为大家分享了“TiDB 实战优化之 SQL 常见问题与优化案例”;来自知乎技术平台在线架构组的白瑜庆为大家介绍了“知乎高性能 KV 存储设计和调优实践”。三位嘉宾分享完之后,就性能调优的 4 个具体话题:1. 读写热点问题和负载均衡;2. 系统和部署环境调优;3. SQL 和 TiDB 参数调优;4. 线上故障定位排查,现场分为 4 个圆桌进行了热烈的讨论。

10 月 23 日下午,TUG 在 PingCAP 北京办公室举行了一场 “CEO 有问必答” 活动。TUG 的 7 位核心成员代表与 PingCAP CEO 刘奇就 TiDB 产品、TUG 社区和 PingCAP 公司等话题深入进行交流,刘奇也解答了 TUG 代表关心的很多问题。

文章

物化视图(Materialized Views,以下简称 MV)是一种特殊的视图,它的数据会持久化。物化视图的更新一文介绍了 MV 的典型使用场景,MV 的属性及 MV 的更新实现及更新算法。

Multi-master replication 是数据库复制的一种方法,它将数据存储于一组服务器,并允许该组服务器的任何成员对数据进行查询或更新。此解决方案的系统会将每个成员所做的数据修改传播到副本组的其余成员,并解决不同成员进行的并发更改之间可能出现的任何冲突。Multi-Master 数据库概览为大家介绍了一些数据库方案,包括:Single-Master,Multi-Master,Aurora,MySQL NDB Cluster,Percona XtraDB Cluster。

过去由于种种原因,TiDB 很多的内部状态信息是通过不同组件暴露 RESTFul API 来实现,这个方案也不是不好,但是随着 API 的增多,管理成本越来越高。社区的小伙伴可以参照添加 Hands on! 如何给 TiDB 添加新系统表添加新的有用的信息。

什么是全局唯一 ID?TiDB 的全局唯一 ID 是如何实现的?TiDB 中的全局唯一 ID 为你介绍这些信息。

老房说数

近期 PingCAP 官方认证 TiDB DBA 认证考试即将开启,马上就会诞生一批 NewSQL 专业人才。上周三晚上,“老房说数”第二期如约而至,本期老房和大家聊的话题是“我的职业认证考试经历”,从 Oracle 到 NewSQL,大家一起来说说自己的考证经历。


相关阅读

AskTUG Weekly (20191014-20191020)