奖金升级,TiDB 性能竞赛等你来战!

coding man 10.25-11.01 参赛周报

进度

  • 集群环境部署(分支创建,编译环境准备,环境部署)

  • 高性能 TiDB 课程 学习

小结

整体进度稍慢,下周要多投入时间

遇到的问题

  • 社畜,空余时间不稳定,晚上得多挤挤时间

下一步规划

  • sysbench压测
  • 源码分析(性能优化点)
  • 撸码
2 个赞

随意 Team 10.25-11.01 参赛周报

  • 当前正在进行的设计方案:

    • 通过TiDB trace分析Sysbench OLTP insert workload各进程的耗时。
    • 使用Sysbench对集群执行压力测试,记录TPS|最大延迟|P99延迟|TiKV火焰图等关键数据。
    • 使用Grafana观测TiKV Details和磁盘性能。
    • 阅读TiKV官方源码阅读Blog和TiKV源码。
  • 具体分工:

    • 我 [x]
    • 我 [x]
    • 我 [x]
    • 我 W.I.P
  • 小结:

    • TiDB优化上限小
    • TiKV&Rust陌生
  • 下一步规划:

    • 尽快熟悉Rust&TiKV源码
    • 修改TiKV源码,对集群进行压测
    • 与顾问交流意见
1 个赞

随意 Team 10.18-10.25 参赛周报

  • 当前正在进行的设计方案:

    • 测试IO性能。
    • 集群部署,替换集群结点binary。
    • Sysbench oltp_common数据prepare及run。
    • Sysbench OLTP insert SQL分析。
    • CPU profiling。
    • 向顾问学习瓶颈搜索的方法。
  • 小结:

    • Sysbench OLTP insert SQL及其简单,TiDB侧parser和planner压力会非常小。
    • 请求延迟主要在2PC会话,也就是TiKV侧。
    • 1TiDB,1TiKV,1*PD拓扑(vCPU=4,Mem=7.6GiB)拓扑下,concurrency>=64时,服务延迟稳定性开始下降。
  • 遇到的问题:

    • 初次调优集群,方法错误。
  • 下一步规划:

    • 使用TiDB trace观察SQL运行时进程的执行顺序、关系及耗时。
    • 学习Rust&TiKV,进行源码修改。
    • 使用Sysbench压力测试,并使用TiDB Dashboard|Granfana等工具进一步观测。
1 个赞

加油,打工人

1 个赞

lgtmv587 11.2-11.8参赛周报

本周进展

我们队要做的是固定场景优化yscb-workloade。本周搭建了在服务器上搭建了tidb和tikv的集群,加大了profile的时间长度,观看火焰图后顾问@xhe发现能有一些优化空间。目前在distsql.go里调用的是appendRow,这意味着每次append一个row的时候,tidb需要拿到不同的column才行,而tidb目前的存储方式是列存的,这对于cache是不友好的。如果我们可以反过来遍历所有的column来append row的话,这对cache会更友好。我们目前提了3个issue。

小结

这周感觉我们team才开始真正走上正轨发现问题并提出issue并尝试提pr,team里除了phd小姐姐外都工作了,打工人要抽时间出来真的不太容易啊。刚开始profile是在单机上测试,导致很多优化点可能没能发现出来。这周@xhe建议大家应该搭建集群来测试。分布式系统的测试还是应该在集群里,因为很多问题单机是没法发现的,比如网络传输等带来的性能开销。突然想起读研的时候发paper的时候,我们的性能测试都是在集群环境下测的,现在居然忘了这么重要的点,这次竞赛还真有点回到了读研时候的感觉。

下一步规划

  • 把已经提的3个issue先实现并benchmark测试性能的提升,先保证拿分
  • 继续深挖其他可以优化的性能点
1 个赞

队伍 Reminiscent 11.2-11.8 周报
目标:实现 loose index scan

本周进展:

  • 阅读 CockRoachDB 相关实现
  • 学习 Rust

小结:

  • 进展较慢,需要加快进展
1 个赞

标题:
tikv/pd #2950 Team+10.18-10.25+参赛周报

内容参考(也可自由发挥):

当前正在进行的设计方案及 PR

方案链接(进度:40%)开会确认接下来的方案,写了方案草稿
PR 链接 (状态:review,develop,merged)空

具体分工:
确认了接下来主要处理反亲和的部分

  1. eatcosmos 测试用例、测试文档
  2. chan song 完成代码
  3. 待认领
    小结

遇到的问题:

  1. 测试用例还没有确认如何做

下一步规划

  1. 完成测试用例
  2. 代码开发

注:参赛周报提交时间为每周日 21:00 之前,内容周期为上周日至本周日的参赛进展。

1 个赞

队伍: 史莱克战队
目标: 优化 oltp read only

地址见: https://my.oschina.net/u/4219736/blog/4707686

1 个赞

coding man 11.02-11.08 参赛周报

进度

  • tikv coprocessor学习

  • rust语言学习

小结

确定优化方向,开始编码

遇到的问题

  • rust语言还是有门槛的,需要花点时间看看

下一步规划

  • 先针对某一种sql在coproceessor模块进行优化,提一个PR
1 个赞

随意 Team 11.02-11.08 参赛周报

当前正在进行的设计方案:
    - 完成PingCAP「TiKV源码阅读系列博客」[x]
    - 完成《Rust 程序设计语言》阅读 [x]
    - 完成Rustlings课程 [ ]
    - 完成《通过例子学习Rust》[ ]
    - 对集群进行64并发以上的压力测试,收集TiKV火焰图 [x]
    - 对TiKV源码进行分析和修改 [ ]

小结:
    - 纸上得来终觉浅,Rust语言书面学习曲线不是非常陡峭。
    - TiKV源码实现的机制涉及到不少知识,目前只适合结构性精读。

遇到的问题:
    - 效率低,时间少,进度滞后

下一步规划:
    1. 对TiKV源码进行分析和修改。
    2. 寻找TiKV性能瓶颈与顾问进行讨论,建立issue。
2 个赞

标题:稳如狗的HelloKitty Team 11.01-11.08 参赛周报

  • 当前正在进行的设计方案及 PR
  • 小结
    • 梳理了怎么通过test来了解是从cache里获取还是从tikv里面获取
    • 了解了DDL的一些流程
  • 遇到的问题
    • 缓存管理需要设计,scan模块还得加强了解一下
  • 下一步规划
    • session处理,内存管理
1 个赞

gtmv587 11.8-11.15参赛周报

本周进展

下一步规划

  • 把已经提的3个issue先实现并benchmark测试性能的提升,先保证拿分

  • 继续深挖其他可以优化的性能点

队伍: 史莱克战队
目标: 优化 oltp read only

地址见: [TiDB 性能竞赛 11.09-11.14](https://my.oschina.net/u/4219736/blog/4717444)

队伍 Reminiscent 11.8-11.15 周报
目标:实现 loose index scan

本周进展:

  • 继续学习 Rust
  • 阅读 TiKV Copr 相关源码阅读文章,熟悉 Copr
  • 阅读 TiDB 相关部分代码,书写设计文档
1 个赞

随意 Team 11.08-11.15 参赛周报

当前正在进行的设计方案:
    - 根据火焰图阅读raftstore下的源码 [ ] 

下一步规划:
    1. 本周投入时间比较少,接着按上周的计划推进。
1 个赞

标题:

tikv/pd #2950 Team+11.8-11.15+参赛周报

内容参考(也可自由发挥):

当前正在进行的设计方案及 PR

方案链接(进度:50%)组员、老师开了3次会

1105 https://www.bilibili.com/video/BV1h54y1r7RB/

1109 https://www.bilibili.com/video/BV1RZ4y1V7tE/

1110 https://www.bilibili.com/video/BV14K411G7R5/

组员写了代码片段

PR 链接 (状态:review,develop,merged)空

具体分工:

确认了接下来主要处理反亲和的部分

每个人都完成反亲和的基础功能,然后互相验证

遇到的问题:

  1. 执行力短期爆发,没有形成持续短输出

下一步规划

  1. 每个人完成一下会议安排

注:参赛周报提交时间为每周日 21:00 之前,内容周期为上周日至本周日的参赛进展。

coding man 11.09-11.16 参赛周报

进度

  • tikv coprocessor学习

  • rust语言学习

小结

确定优化方向,开始编码

遇到的问题

  • rust语法还是有门槛,本周投入时间还是不够

下一步规划

  • 先针对某一种sql在coproceessor模块进行优化,提一个PR

eatcosmos 参赛笔记
tidb性能竞赛-tikv/pd#2950-pd-编译修改pd

队伍: 史莱克战队
目标: 优化 oltp read only

地址见: TiDB 性能竞赛 11.16-11.20

lgtmv587 11.16-11.22参赛周报

本周进展

本周主要是PR的实现和review,目前我们已经提出了两个PR。分别是实现一个AppendRows的api,和把AppendRows的api替换目前的AppendRows

下一步规划

  • 前两个PR先review保证拿分
  • 争取在结束前把第3个issue也实现和合并
1 个赞