奖金升级，TiDB 性能竞赛等你来战！

🌠 社区资讯及活动 活动回顾
22

coding man 10.25-11.01 参赛周报

进度

  • 集群环境部署(分支创建，编译环境准备，环境部署)

  • 高性能 TiDB 课程 学习

小结

整体进度稍慢，下周要多投入时间

遇到的问题

  • 社畜，空余时间不稳定，晚上得多挤挤时间

下一步规划

  • sysbench压测
  • 源码分析(性能优化点)
  • 撸码
2 个赞
23

随意 Team 10.25-11.01 参赛周报

  • 当前正在进行的设计方案：

    • 通过TiDB trace分析Sysbench OLTP insert workload各进程的耗时。
    • 使用Sysbench对集群执行压力测试，记录TPS|最大延迟|P99延迟|TiKV火焰图等关键数据。
    • 使用Grafana观测TiKV Details和磁盘性能。
    • 阅读TiKV官方源码阅读Blog和TiKV源码。

  • 具体分工：

    • 我 [x]
    • 我 [x]
    • 我 [x]
    • 我 W.I.P

  • 小结：

    • TiDB优化上限小
    • TiKV&Rust陌生

  • 下一步规划：

    • 尽快熟悉Rust&TiKV源码
    • 修改TiKV源码，对集群进行压测
    • 与顾问交流意见
1 个赞
24

随意 Team 10.18-10.25 参赛周报

  • 当前正在进行的设计方案：

    • 测试IO性能。
    • 集群部署，替换集群结点binary。
    • Sysbench oltp_common数据prepare及run。
    • Sysbench OLTP insert SQL分析。
    • CPU profiling。
    • 向顾问学习瓶颈搜索的方法。

  • 小结：

    • Sysbench OLTP insert SQL及其简单，TiDB侧parser和planner压力会非常小。
    • 请求延迟主要在2PC会话，也就是TiKV侧。
    • 1TiDB,1TiKV,1*PD拓扑(vCPU=4,Mem=7.6GiB)拓扑下，concurrency>=64时，服务延迟稳定性开始下降。

  • 遇到的问题：

    • 初次调优集群，方法错误。

  • 下一步规划：

    • 使用TiDB trace观察SQL运行时进程的执行顺序、关系及耗时。
    • 学习Rust&TiKV，进行源码修改。
    • 使用Sysbench压力测试，并使用TiDB Dashboard|Granfana等工具进一步观测。
1 个赞
25

加油，打工人

1 个赞
26

lgtmv587 11.2-11.8参赛周报

本周进展

我们队要做的是固定场景优化yscb-workloade。本周搭建了在服务器上搭建了tidb和tikv的集群，加大了profile的时间长度，观看火焰图后顾问@xhe发现能有一些优化空间。目前在distsql.go里调用的是appendRow，这意味着每次append一个row的时候，tidb需要拿到不同的column才行，而tidb目前的存储方式是列存的，这对于cache是不友好的。如果我们可以反过来遍历所有的column来append row的话，这对cache会更友好。我们目前提了3个issue。

小结

这周感觉我们team才开始真正走上正轨发现问题并提出issue并尝试提pr，team里除了phd小姐姐外都工作了，打工人要抽时间出来真的不太容易啊。刚开始profile是在单机上测试，导致很多优化点可能没能发现出来。这周@xhe建议大家应该搭建集群来测试。分布式系统的测试还是应该在集群里，因为很多问题单机是没法发现的，比如网络传输等带来的性能开销。突然想起读研的时候发paper的时候，我们的性能测试都是在集群环境下测的，现在居然忘了这么重要的点，这次竞赛还真有点回到了读研时候的感觉。

下一步规划

  • 把已经提的3个issue先实现并benchmark测试性能的提升，先保证拿分
  • 继续深挖其他可以优化的性能点
1 个赞
27

队伍 Reminiscent 11.2-11.8 周报
目标：实现 loose index scan

本周进展：

  • 阅读 CockRoachDB 相关实现
  • 学习 Rust

小结：

  • 进展较慢，需要加快进展
1 个赞
28

标题：
tikv/pd #2950 Team+10.18-10.25+参赛周报

内容参考（也可自由发挥）：

当前正在进行的设计方案及 PR

方案链接（进度：40%）开会确认接下来的方案，写了方案草稿
PR 链接 （状态：review,develop,merged）空

具体分工：
确认了接下来主要处理反亲和的部分

  1. eatcosmos 测试用例、测试文档
  2. chan song 完成代码
  3. 待认领
    小结

遇到的问题：

  1. 测试用例还没有确认如何做

下一步规划

  1. 完成测试用例
  2. 代码开发

注：参赛周报提交时间为每周日 21:00 之前，内容周期为上周日至本周日的参赛进展。

1 个赞
29

队伍: 史莱克战队
目标: 优化 oltp read only

地址见: https://my.oschina.net/u/4219736/blog/4707686

1 个赞
30

coding man 11.02-11.08 参赛周报

进度

  • tikv coprocessor学习

  • rust语言学习

小结

确定优化方向，开始编码

遇到的问题

  • rust语言还是有门槛的，需要花点时间看看

下一步规划

  • 先针对某一种sql在coproceessor模块进行优化，提一个PR
1 个赞
31

随意 Team 11.02-11.08 参赛周报

当前正在进行的设计方案：
    - 完成PingCAP「TiKV源码阅读系列博客」[x]
    - 完成《Rust 程序设计语言》阅读 [x]
    - 完成Rustlings课程 [ ]
    - 完成《通过例子学习Rust》[ ]
    - 对集群进行64并发以上的压力测试，收集TiKV火焰图 [x]
    - 对TiKV源码进行分析和修改 [ ]

小结：
    - 纸上得来终觉浅，Rust语言书面学习曲线不是非常陡峭。
    - TiKV源码实现的机制涉及到不少知识，目前只适合结构性精读。

遇到的问题：
    - 效率低，时间少，进度滞后

下一步规划：
    1. 对TiKV源码进行分析和修改。
    2. 寻找TiKV性能瓶颈与顾问进行讨论，建立issue。
2 个赞
32

标题：稳如狗的HelloKitty Team 11.01-11.08 参赛周报

  • 当前正在进行的设计方案及 PR
  • 小结
    • 梳理了怎么通过test来了解是从cache里获取还是从tikv里面获取
    • 了解了DDL的一些流程
  • 遇到的问题
    • 缓存管理需要设计，scan模块还得加强了解一下
  • 下一步规划
    • session处理，内存管理
1 个赞
33

gtmv587 11.8-11.15参赛周报

本周进展

下一步规划

  • 把已经提的3个issue先实现并benchmark测试性能的提升，先保证拿分

  • 继续深挖其他可以优化的性能点

34

队伍: 史莱克战队
目标: 优化 oltp read only

地址见: [TiDB 性能竞赛 11.09-11.14](https://my.oschina.net/u/4219736/blog/4717444)

35

队伍 Reminiscent 11.8-11.15 周报
目标：实现 loose index scan

本周进展：

  • 继续学习 Rust
  • 阅读 TiKV Copr 相关源码阅读文章，熟悉 Copr
  • 阅读 TiDB 相关部分代码，书写设计文档
1 个赞
36

随意 Team 11.08-11.15 参赛周报

当前正在进行的设计方案：
    - 根据火焰图阅读raftstore下的源码 [ ] 

下一步规划：
    1. 本周投入时间比较少，接着按上周的计划推进。
1 个赞
37

标题：

tikv/pd #2950 Team+11.8-11.15+参赛周报

内容参考（也可自由发挥）：

当前正在进行的设计方案及 PR

方案链接（进度：50%）组员、老师开了3次会

1105 https://www.bilibili.com/video/BV1h54y1r7RB/

1109 https://www.bilibili.com/video/BV1RZ4y1V7tE/

1110 https://www.bilibili.com/video/BV14K411G7R5/

组员写了代码片段

PR 链接 （状态：review,develop,merged）空

具体分工：

确认了接下来主要处理反亲和的部分

每个人都完成反亲和的基础功能，然后互相验证

遇到的问题：

  1. 执行力短期爆发，没有形成持续短输出

下一步规划

  1. 每个人完成一下会议安排

注：参赛周报提交时间为每周日 21:00 之前，内容周期为上周日至本周日的参赛进展。

38

coding man 11.09-11.16 参赛周报

进度

  • tikv coprocessor学习

  • rust语言学习

小结

确定优化方向，开始编码

遇到的问题

  • rust语法还是有门槛，本周投入时间还是不够

下一步规划

  • 先针对某一种sql在coproceessor模块进行优化，提一个PR
39

eatcosmos 参赛笔记
tidb性能竞赛-tikv/pd#2950-pd-编译修改pd

40

队伍: 史莱克战队
目标: 优化 oltp read only

地址见: TiDB 性能竞赛 11.16-11.20

41

lgtmv587 11.16-11.22参赛周报

本周进展

本周主要是PR的实现和review，目前我们已经提出了两个PR。分别是实现一个AppendRows的api，和把AppendRows的api替换目前的AppendRows

下一步规划

  • 前两个PR先review保证拿分
  • 争取在结束前把第3个issue也实现和合并
1 个赞