技术大咖辩论:数据库发展趋势,融合还是细分?

一、前言

在当前大数据及数据库领域的高速发展过程中,涌现了很多优秀的数据库产品。同时基础软件个行业最终都寡头竞争,最终优秀的产品将逐步进化为通用的标准。所以有人认为数据库最终将整合,集中收敛到少量技术栈与产品中,类似 HTAP 、Cloud 等理念将最终定义数据库形态;但也有人认为数据库领域百花齐放才是一个长期状态。业务场景越来越多,场景需求越来越苛刻,没有一种技术是银弹,能解决所有问题,迎合各种要求,而专业分工,各取所长才是合理的选择。

那么,你认为数据库、大数据行业未来十年最终的演进结果是怎样的呢?是融合还是细分?

真理越辩越明,今年 TUG 周年庆全国场我们请到了六位业界大咖,将围绕这两个主题展开激烈的辩论,希望通过本次的辩论能给大家带来不一样的收获。

二、辩论赛简介

参赛阵容:

三、辩论赛内容

主持人韩锋:

很多企业在数据库架构选型时都会遇到这样的问题,是选择融合性的架构还是选择个细分的架构。今天我们有幸邀请到六位重量级嘉宾带来这场分享,希望这场分享能够给我们带来一些新的启发和新的问题思考的视角,为今后架构选型能够有所帮助。首先进行的这个环节是双方辩手依次发言。

双方依次发言:

李银龙(细分方向一辩):

数据库未来的发展方向是,细分领域的不同需求,终将呈现出百花齐放的产品技术解决方案。

数据需求场景的多样性决定了数据产品的多样性。

从企业数据按垂直拆分可以分为 3 类:

交易数据,需要具备 ACID 特性,如订单、支付。

关系类的数据,但是不需要 ACID 特性,如用户画像类的数据。

非关系型的数据,如语音、图片等数据,可以用于数据挖掘、人工智能。

企业数据水平领域拆分:

联机处理数据。侧重高并发、低延迟、高完整性和高安全性。

数据中台,轻量级数据处理。侧重实时数据同步,快速统计查询。

离线数据分析,侧重重量级数据统计、分析、报表查询等。

因为数据的垂直和水平拆分是多样性的,所以用户需求的多样性决定了无法通过一个大一统的产品来解决所有问题。

黄东旭(融合方向一辩):

场景多样,划分过细会导致数据孤岛。多个系统之间的内在关联也被打破,比如业务场景中交易数据可能会需要用户行为数据,但是这些数据可能散落在多套系统中,对用户的接入上成本较高。如果有一套系统能够覆盖大部分的业务场景,那么对业务开发也会节省很多人力。我方观点认为数据库的发展趋势会越来越像 iPhone 一样全面,而不是功能机时代的 Nokia。

黄潇(细分方向二辩):

满足数据产品多样性的场景决定了数据库产品的多样性。随着业务量的增长,数据库产品会分为:关系型和非关系型、交易型和分析性。从 DB-Engines 的排名来看,在每个细分领域都有优秀的代表性产品。从数据库产品的结构来说,不同的数据产品面临的挑战是不一样的,没有一个数据库产品能完美解决业务痛点。大一统的数据库解决方案在场景、运维、社区培养等都是很难做到人人满意,所以我方辩手认为细分才是未来的发展方向。

李文杰(融合方向二辩):

从三个方面来论证细分的弊端:

在 OLTP 、OLAP 、离线数据分析等需求下,我们需要解决负载的数据迁移,加大了技术复杂性。融合可以规避掉额外的数据异构化问题。

一份数据在多个不同类型的数据库中存储,增加了服务器成本。融合可以有效降低多地存储的问题。

细分带来了更多技术栈,学习成本比较高。融合可以解决集中人力投入,有利于在一定人力成本下把技术栈做深。

周彦伟(细分方向三辩):

数据库产品商业模式的多样性决定了数据库产品的多样性。数据库产品能够维持长久的发展,一定要商业化。一谈到商业化就会引申出需求,因为解决需求才会有市场,才能够有商业化。商业化是为了解决用户的业务需求,架构的演进最终是为了迎合实践场景的最佳实践而已。所做产品不是把很多功能堆起来就行,一定是要专业产品做专业的事情。所以我方坚持认为数据库未来的发展方向是,细分领域的不同需求,终将呈现出百花齐放的产品技术解决方案。

汪涉洋(融合方向三辩):

从业务的链路上来看,我们一般是为了解决 OLTP、OLAP 的需求,一般会涉及到多个数据库产品( MySQL 、ES 、HBASE 、Flink 、Kudu 等)。要做到稳定高效,维护这些产品则需要跨多个专业团队支持,人力成本和沟通成本都是比较高的。通过融合的技术能够解决95%的普遍性问题,再结合一些特有技术解决特殊场景问题。

双方自由辩论

黄东旭(融合方向一辩):

首先我想问一下大家,TiFlash 不香吗?一个良好的架构上,给用户看起来是一套系统,但实际背后可以有不同引擎模块组成,可以是不同的存储结构,比如行列混存。分布式的技术不同于单机架构,它给架构带来了灵活性、可调度、和融合性。通过上层框架的融合,屏蔽底层复杂结构,给用户更低成本、更易用的接入方式。

黄潇(细分方向二辩):

我们谈的是数据库作为一个产品,它的未来的方向,而不是数据库作为服务未来发展方向。对业务方用户来说,他们接入的是一个 OLTP + OLAP + KV 的服务,但是这底层的产品一定是做到细分且极致的。TiDB 目前通过 TiFlash 提供了更强的 OLAP 功能,如果随着数据量继续暴增的情况下,一个 TiDB 集群是否可以满足所有业务需求呢?东旭老师是否可以回答一下呢?

黄东旭(融合方向一辩):

首先所有的需求这是个悖论。举一个前段时间看到 Tableau 论文里的例子,由于他们提供云服务,用户共享出来的 query 给官方人员做分析,但是发现里面绝大部分都是 table scan、group by,join 只有 3%。所以我的观点是只要解决绝大多数的问题就已经是一个很有意义的产品了。

周彦伟(细分方向三辩):

TiDB 早期用户在使用的时候更多是在 OLAP 场景,这个时期用的都是 TiDB 自身内部功能,但是去年开始选择引入 clickhouse 的部分功能到 TiDB。如果没有这个细分领域比较优秀的产品,PingCAP 如何在比较短的时间内解决商业付费用户复杂大规模 OLAP 需求。所以数据库产品还是要看场景需求引入细分领域更专业的产品。另外面向细分领域、特殊行业也有广大市场,但是融合性的数据库是无法解决特殊需求,比如某个航天飞行器两个小时要写入6 PB 的模拟数据,目前没有太好的解决方案,未来就一定要有细分场景的产品来解决。所以我们认为面向各种行业、各种场景的需求,细分领域应该做的更深入,更垂直的产品才能解决需求。

汪涉洋(融合方向三辩):

接着周彦伟老师的话题,说 clickhouse。我们把 clickhouse 一部分能力融合进 TiFlash 不就是融合成功的一个例子么。企业在 OLAP 这个领域前期需要尝试多种技术方案(clickhouse、Hadoop on SQL等),但是需要很多的人力和机器去搞。人力投入和服务器资源投入都比较分散,并且也不能研究的比较深入。如果可以融合到一个产品体系当中去,我们就可以集中资源可以做的更深入。

李银龙(细分方向一辩):

我们认为数据库的细分是绝对的,融合是相对的,细分是广义的、融合是狭义的。数据库应用的垂直领域一定是细分的,比如关系型、强一致性和对数据安全性一致性要求不高的,一定是选择不同类型的数据库。因为我们知道数据安全性和性能是不可兼得,为了高吞吐,在事务和一致性上的支持必然就要有所舍弃。这是一个我要什么和我能容忍什么的问题。比如简单场景下用复杂的融合性数据库产品,是不是就是”杀鸡焉用宰牛刀”?

黄东旭(融合方向一辩):

我来说两点:

我不太赞成”杀鸡焉用宰牛刀”的说法,TiDB 的技术选型在最开始选择的是一个约束最多的场景,刚才大家说的功能里面基本都是基于这个之下的,如果我能满足最高的要求,往下的功能就是降级使用。也就是说我们的架构里面虽然提供了比较全面的功能,但是未来我们可以提供一些功能开关,不同场景可以通过开关来控制功能。比如说我不需要事务,那么就可以关闭到这个功能,来获取更高的吞吐量。

clickhouse 的引入。当初我们觉得 clickhouse 的易用性不是太好,所以我们将其融合后带来了更好的易用性,这个不正是说明了融合带来的优势么。

李文杰(融合方向二辩):

未来的数据库应该是模块化、插件化。对外提供一个协议和入口,屏蔽掉底层复杂架构。用哲学上的一句话来说:“部分组成整体,整体包含部分”。

周彦伟(细分方向三辩):

刚才提到这些准确来说是个入口,这应该属于数据库解决方案。底层用到的模块、插件,能够支持 es、流处理、时序性数据等,这些模块插件才是真正细分领域的产品,这些才是正在解决问题的东西。我们在上面提供的只是个架构。所以我方的观点还是支持细分领域的趋势。

融合方向总结陈词

黄东旭(融合方向一辩):

认可细分领域的发展,也从中学习到了很多的技术知识。

从软件工程的思路,更期望给用户提供更易用的产品。

计算机科学有一点特别好,可以以不变应万变。比如 SQL 是一个操作数据的事实标准。作为数据库的厂商,更愿意把复杂性隐藏在软件背后,通过底层融合的手段给用户提供简单易用、多功能化的的解决方案。

TiDB 是一个走在融合前沿的产品,任何新生事物用户有一定的接受期。

不否认垂直领域的数据库产品或者解决方案还是有机会的。

复杂留给自己,简单留给用户。

细分方向总结陈词

周彦伟(细分方向三辩):

TiDB 是走在融合前沿的产品,但是融合前沿的数据库也离不开细分数据库领域的深耕。

软件优化的产品转向软硬结合的思路。

每个方面都想做,那么最后就是什么都做不好。一定要在某个方面做的很深入,才能有出路。

从应用、技术、商业三个方面论述细分发展才是数据库未来的趋势。这三个点都是来自于需求,如果抛开了用户场景需求,去做一个大一统的架构,可能不能满足用户的需求。

从细分领域解决问题才有性价比。

主持人总结发言

韩峰(主持人):

以上融合队与细分队都做了精彩的辩论,感谢六位技术大咖给我们带来的精彩分享。双方在架构选型和产品形态上都陈述了自己鲜明的观点。相信本次辩论赛给各位听众也能带来不一样的思路,大家可以反思一下在自己未来的数据库架构选型和设计方面是否所有帮助。无论是细分化还是融合化,在企业中都很能找到合适的场景或者合适的用户。通过这次技术辩论赛,我相信大家肯定是收获满满。期待以后有更多更精彩的辩论赛,能让我们技术圈有更多的机会一起讨论技术,碰撞出更精彩的思想火花。再次感觉 TUG 组织的本活动。

四、后记

由于众所周知的原因,今年很多线下活动搬到了线上。虽然本次活动在线上通过视屏会议沟通,但是辩论赛的激烈程度依然不减。能让这样一个面对面才能聊起来的活动,可见大家对技术的热衷。辩论意义并不是为了证明哪个方向才是正确的,而是想通过这样的形势给大家带来思维上的拓展。所谓的细分与融合也不是绝对的,或许会是一个你中有我,我中有你的形态。通过两个方向的竞争、相互借鉴等,最终推动数据库向更好的未来发展,因为最终的目标还是解决需求,技术趋势是顺应需求而演进。看得出来本次辩论赛不管是场内的辩手还是场外观众,相信都是意犹未尽。期待未来围绕一些有热度技术话题,继续推出一些有思想、有干货的技术辩论。

全程直播视频回放:https://www.bilibili.com/video/BV1nD4y127ti/

1赞

当初提出OLAP OLTP或许只是限于当时的硬件水平 本来数据应该保持一份一个版本 放在一个地方才是合理
数据库概念里 数据的关系是核心 存储形式是其次 在数据关系方向融合 在数据存储方式上细分

1赞