请问是否有用户使用presto作为前置应用,后面接tidb

presto --> tidb的原因:

  1. 分析师们平时的工作就是基于presto,后面的catalog包括hive,mysql,kudu;习惯于presto的sql语法,贸然整到tidb,不习惯
  2. 目前tidb只是小部分数据,主要t+1还是hive
  3. 懒,学习成本

可以关注一下最近和 知乎 一起孵化的项目 https://github.com/pingcap-incubator/TiBigData
目前已经支持 presto 通过 TiDB 做只读支持,可以关注一下这个项目 。

1赞

可以试用下,目前是支持利用presto和flink实现 hive <------> tidb同步的,读取这一块实现是走的tikv,比jdbc拉tidb数据能快上不少

后续我们在读方面还会支持follow read,写方面会封装mysql jdbc driver,支持TiDB server列表自动发现,多个server同时去写,以应对大数据量的写入(上亿条数据从离线导入TiDB)

我现在connector用的是mysql;看这个tibigdata新实现了一个tidb,这两个的区别是?优化吗?

是优化的,因为兼容性这里是需要大量的开发成本的,尤其是从 Presto 到 TiDB。TiBigData 是由 知乎 和 TiDB 开发者社区一起来完成的,这个工具会对于你的业务使用习惯应该改变很小。

我用过Presto查询TiDB的数据,主要是做一些复杂的SQL,比如开窗函数。直接用TiDB会比较慢,所以采用Presto,能提速很多。
但缺点是,Presto查询TiDB数据不太稳定,并发度不高,并发度高了,容易宕机。

感觉还是抽数据把TiDB抽挂了,我这里做T+1,用sqoop也经常把它抽挂,现在考虑社区方案,使用TiSpark直接抽Tikv

可以关注一下这个项目 ~

好的,谢谢