作为阿里巴巴第一个数据仓库的创建者，他把数据中台的发展过程分成了四个阶段

口述者讫在(张金银),奇点云CEO,阿里巴巴第一个数据仓库的创建者,阿里巴巴第一个消费者数据平台TCIF的创建者,阿里云数据智能平台数加的创始人,2004年以数据技术专家身份重新加入阿里巴巴以来,12年来仍然投身于大数据事业。2016年离开了阿里巴巴,创办奇点云,目的用「AI驱动的数据中台」赋能线下,让商业更加智能。(奇点云CEO-讫在)2009年,阿里云打开了中国的云时代。

十年市场教育,中国的公有云市场也早已从无到有,迈过了300亿元大关,预计到2021年堪称能超过900亿元的规模。「数据中台」早已从一个技术词汇,渐渐改变沦为企业界的共识:如果想在信息商业中享有一席之地,就必需要利用云计算和数据的力量,已完成企业的数字化转型。

只是,数据究竟在转型中扮演着什么样的角色,要如何利用好数据,数据上云后如何反对业务,企业必须哪些核心能力?这些问题,对于大多数的非技术业者而言,依然是知其然不知其所以然。一般而言,「数据上云」更加多特别强调的是数据的存储和计算出来,而要让数据需要赋能业务,则更加必须「数据中台」来展开数据处理,进而反对业务决策和优化运营。这是「数据中台」和「数据上云」仅次于的有所不同。

数据中台最后要协助企业降本增效作为数据业务领域的先行者,阿里云总裁张建锋,在近期的演说中,把数据智能作为数据处理的核心能力:今天处置数据绝大部分都不是全然靠算力,算力是基础,而主要是靠上面的智能化的算法,算法跟各行各业的业务有密切相关,所以阿里巴巴通过与各行各业合作,溶解了一个原始的智能化平台。我们指出在基础设施的云化、核心技术的互联网化以及在之上变换大数据+智能化的平台和能力,原始地构成了阿里云智能的整体能力框架。这是我们核心的能力。

这里面表达出有了几个核心信息:1.云计算为数据智能获取了基础算力;2.行业(经验转化成而来的)算法是智能处置数据的主要工具;3.数据+智能的平台和能力,前提是基础设施的云化和核心技术的互联网化;这是阿里云所指出的数据处理的能力框架,而在目前的市场上,我们一般来说把这种能力框架称作「数据中台」。舆论往往不会更加特别强调技术的起到,特别强调技术对业务的推展起到,但事实上,在商业领域,更好的时候,技术发展都是回来业务回头,技术的发展经常来自于业务市场需求和业务场景的倒逼。

例如,随着更加多的企业把业务流程上云,日益增长的数据存储和依然匮乏的数据应用于就沦为了企业的主要矛盾之一,而且,这种对立不是一天就需要解决问题,必须从业务、技术、的组织几个有所不同的领域一起来探索数据的解决方案。非常简单来说,「数据中台」就是这一系列解决方案的基础设施。数据中台不是一套软件系统,也不是一个标准化产品,车站在企业的角度上,数据中台更好地指向企业的业务目标,也即协助企业溶解业务能力,提高业务效率,最后已完成数字化转型。

隐晦点说道,中台只谈技术,不谈业务,都是大忽悠。这么多年来,互联网的发展都创建在更加低成本、更高效率的相连之上,线下也一定会拷贝线上的发展逻辑,用更好相连带给更好的数据。比如,通过摄像头,我们就可以低成本创建顾客的Face ID档案,从而非常丰富人和店铺的关系数据,店铺进而可以根据数据分析结果,给顾客获取更加有针对性的服务项目。

更加多相连,更加低成本,更高效率——所有跟流通涉及的线下做生意,数据中台的意义就在于降本增效,别无其他。数据中台发展经历了四个阶段在数据史上,2015年是一个最重要的关口:2015年全年产生的数据量相等历史上所有人类产生数据的总和,这是数据从乘数型快速增长全面改向了指数型快速增长的方向标,海量数据处置沦为全人类的挑战;刚好,阿里巴巴向外公布了DT时代的拒斥,用Data Technology(DT,数据技术)替代了Information Technology(IT,信息科技),特别强调数据技术将沦为未来商业的驱动力。

一个标志性的事件是:阿里巴巴用几百人的运营团队承托了几万亿的GMV,其中60%-70%源于数据反对的机器决策,机器智能赋能业务,用更加较低的成本,更高的效率去服务顾客,获取千人干面的个性化体验。未来学家指出,机器智能最后不会打破人的智慧,而这两者的临界点就被称作「奇点」。从这点来说,我们可以指出,阿里巴巴早已横跨了奇点,确实沦为一家数据公司。

下面我们从数据的角度来辨别下这个过程。阿里巴巴的数据处理经历了四个阶段,分别是:一、数据库阶段,主要是OLTP(联机事务处理)的市场需求;二、数据仓库阶段,OLAP(联机分析处置)沦为主要市场需求;三、数据平台阶段,主要解决问题BI和报表市场需求的技术问题;四、数据中台阶段,通过系统来接入OLTP(事务处理)和OLAP(报表分析)的市场需求,特别强调数据业务简化的能力。

(数据中台演变的四个阶段)第一个阶段是数据库阶段。淘宝还只是一个非常简单的网站,淘宝的整个结构就是前端的一些页面,再加后端的DB(DataBase,数据库),只是个非常简单的OLTP系统,主要就是交易的事务处理。这个阶段,互联网黄页才刚经常出现,数据来源大部分还是传统商业的ERP/CRM的结构化数据,数据量并不大,也就是GB的级别。

非常简单的DB就能符合市场需求。这里要解释的是,OLTP的交易场景和OLAP的分析场景区别在于,前者特别强调低所发、单条数据非常简单萃取和展出(增补改查),后者对所发的拒绝不低,但是必须切断有所不同的数据库,比如ERP、CRM、不道德数据等等,并且需要展开批量的数据处理,也就是一般来说说道的较低所发,大批量(批处理)、面向分析(query+计算出来,用作制作报表)。

随着淘宝用户多达100万,分析市场需求的比重就更加大。淘宝必须告诉它的交易来自于哪些地区,来自于哪些人,谁在卖淘宝的东西等等,于是,就转入了数据处理的第二个阶段。第二个阶段是数据仓库阶段。

正如前文所述,OLTP和OLAP对数据存储和计算出来的市场需求十分不一样,前者处置的是结构化的交易数据,而OLAP对应的是互联网数据,而互联网里面数据量仅次于的是网页日志,90%以上的数据都是页面(log)什么的非结构化的数据,而且数据量早已超过了TB的级别。针对分析市场需求,就问世了数据仓库(DW,DataWarehouse),我2004年重新加入阿里,用Oracle RAC搭起了阿里巴巴第一个DW,解决问题大量数据的存储和计算出来市场需求,也就是去把非结构化的数据转化成结构化数据,存储下来。

这个阶段,DW反对的主要就是BI和报表市场需求。顺带托一下,数据库(DB)这时也在从传统DB改向分布式DB。主要原因是以前交易平稳,所发高效率,传统DB能符合市场需求,但是后来随着交易量的快速增长,所发更加不高效率,对分布式DB的市场需求也就出来了。

随着数据量更加大,从TB转入了PB级别,原本的技术架构更加无法反对海量数据处置,这时候就转入了第三个阶段。第三个阶段是数据平台阶段,这个阶段解决问题的还是BI和报表市场需求,但是主要是在解决问题底层的技术问题,也就是数据库架构设计的问题。

这在数据库技术领域被总结为「Shared Everything、Shared Nothing、或Shared Disk」,说道的就是数据库架构设计本身的有所不同技术思路之争。Shared Everything一般是针对单个主机,几乎半透明分享CPU/MEMORY/IO,并行处理能力是最好的,典型的代表SQLServer。Shared Disk的代表是Oracle RAC,用户采访RAC就像采访一个数据库,但是这背后是一个集群,RAC来确保这个集群的数据一致性。问题在于,Oracle RAC是基于IOE架构的,所有数据用同一个EMC存储。

在海量数据处置上,IOE架构有天然的容许,不合适未来的发展。阿里巴巴的第一个数据仓库就是创建在Oracle RAC上,由于数据量快速增长太快,所以迅速就抵达20个节点,当时是全亚洲仅次于的Oracle RAC集群,但阿里巴巴早年算数过一笔账,如果依然延用IOE架构,那么几年后,阿里的预计营收还相比之下追不上服务器的支出费用,就是说,如果不去IOE,阿里不会倒闭。Shared Nothing的代表就是Hadoop。

Hadoop的各个处理单元都有自己私有的存储单元和处理单元,各处理单元之间通过协议通信,并行处理和拓展能力更佳。中间有一个产于式调度系统,不会把表从物理存储上水平拆分,分配给多台服务器。

Hadoop的益处是要减少数据处理的能力和容量,只必须减少服务器就好,成本不低,在海量数据处置和大规模并行处理上有相当大优势。综上,用一个关键词来总结第三阶段就是「去IOE」,创建Shared Nothing的海量数据处置平台来解决问题数据存储成本快速增长过慢的问题。在阿里巴巴,前期是Hadoop,后期改向自研的ODPS。

第四阶段是数据中台阶段。这个阶段的特征是数据量的指数级快速增长,从PB迈进了EB级别,未来不会到什么量级,我也说不清楚。主要是因为,2015年之后,IOT(物联网)发展一起,造就了视图声(视频、图像、声音)数据的快速增长,未来90%的数据有可能都来自于视图声的非结构化数据,这些数据必须视觉计算技术、图像解析的引擎+视频解析的引擎+音频解析的引擎来转换成结构化数据。

5G技术的发展,可能会更进一步缩放视图声数据的重要性。线下要想要和线上一样,通过数据来提高业务,就要和线上一样能做不道德可监测,数据可搜集,这是前提。线下最大量的就是视图声数据,而这些数据靠人来手工搜集,认同是不靠谱的,依赖IOT技术和算法的变革,最后不会通过智能末端来自动化获取数据。

要用于这些数据,光有视觉算法和智能末端也敢,要有云来存储和处置这些数据,以及切断其他领域的数据。另一方面,从业务来看,数据也好,数据分析也好,最后都是要为业务服务的。

也就是说,要在系统层面能把OLAP和OLTP去做到接入,这个接入无法靠人来已完成,要靠智能算法。目前的数据中台,最底下的数据平台还是稍技术的,是中台技术方案的其中一个组件,主要解决问题数据存储和计算出来的问题;在上面就是一层数据服务层,数据服务层通过服务化API需要把数据平台和前台的业务层接入;数据中台里面就没有人的事情,必要系统去做到接入,通过智能算法,能把前台的分析市场需求和交易市场需求去做到接入,最后赋能业务。综合上述两个方面,我指出未来要作好数据中台,只做到云或者只做到末端都不靠谱,必须把两者通一起做到。

智能末端负责管理数据的搜集,云负责管理数据的存储、计算出来、赋能。末端需要非常丰富云,云需要赋能末端。

未来的数据中台,一定是「AI驱动的数据中台」,这个中台还包括「计算出来平台+算法模型+智能硬件」,不仅要在端上不具备视觉数据的搜集和分析能力,而且还要能通过Face ID,协助企业去切断业务数据,最后创建线上线下触约和服务消费者的能力。确实做「一切业务数据化,一切数据业务化」。数据中台必须不具备三大能力那么,数据中台是怎么来赋能业务用于数据的呢?这里荐一个TCIF的例子。

现在大家有可能都认识到了统一消费者数据的必要性,但是在几年前,哪怕是在阿里巴巴,消费者的信息也集中在各个业务中,碎片化、骑侍郎得道,而业务当时必须把这些集中的人的数据集中于一起,展开人群画像。道理很明白,人群画像就越明晰,服务就不会就越精准。怎么统一消费者数据?首先,定义挖出点规范,同一个人就用同一个标识,ID切断,也就是所谓的One ID;其次,还不会遇上一家人用于一个指定帐号的问题,那么就必须创建同人的数据模型,通过一些方式,比如,IP网段是不是一样,来辨别出有明确的那个人,创建AID(Alibaba ID);再度,每个人还有各种网络不道德,要如何把这些不道德结构化,装有到各种框架里面?这个尤其无以,我们当时主要是跟人类学家合作,一起把不道德的分类树根做到出来。

这个分类树根十分粗,甚至需要把一个人的发质都结构化了。最后,就必须通过算法模型,把所有的标签都张贴返回人上面,当时TCIF用上述方式生产出有了3000多个消费者标签。

这些标签被阿里巴巴的其他产品所用于,比如阿里妈妈的达摩盘就把这些标签获取给广告主,让广告主需要通过标签去创建人群画像,展开人群细分,以及创建投入用的人群包在。从TCIF的例子来看,数据中台未来一定必须不具备三种能力。第一是数据模型能力。

在业务层面,业务抽象化需要解决问题80%的共性问题,对外开放的系统架构来解决问题20%的个性问题,但同时又要把平台上的业务逻辑分离,因为有所不同的业务逻辑之间有可能有冲突。这在数据中台就展现出为数据的中心化,也就是数据的高内聚、较低耦合,必须对共性问题抽象化出有业务的规则,创建数据模型,一个好的内聚模块需要解决问题一个事情,同时又要减少模块和模块之间的耦合度,让模块具备较好的可读性和可维护性。这里的前提是要有确实不懂业务能溶解经验的人,以及要在企业层面积极开展数据管理,让数据需要精确、有助于分享、安全性地被用于。

第二是AI算法模型能力。要构建数据业务化,前提是做数据的资产化。

要需要从数据原油里面,去提炼出可以用于的汽油。比如说数据的标签化,背后就有投入产出比的考量:通过标签,广告主可以十分方便快捷地去创建自己的人群包在,构建精准营销,同时投入的ROI也是可见的、半透明的,广告主可以自己去评估数据资产的用于情况。

第三是行业的应用于能力,也就是我们一般来说说道的数据业务化能力。和数据中心化类似于,数据业务简化也必须很强的行业经验来指导,创建适合的业务场景,在场景里面去用于数据,从而反映数据的价值,来大大拓展数据在行业中的应用于能力。在奇点云和某酒类客户的合作过程中,我们仅次于的进账不是协助客户已完成了数据中台的搭起,而是通过解读客户的业务,把其经验溶解到数据中台,从而赋能客户更好的末端上的创意业务,带给了做生意的增量。

最后总结一下,未来的数据中台最重要的不单是数据的存储和计算能力,而是必需从「遗、合、用」的角度和业务融合,协助企业从数据中提供价值,溶解数据资产,最后用数据赚。

本文来源：09818开元官网-www.nhgyxf.com