博威---云架构决胜云计算

 找回密码
 注册

QQ登录

只需一步,快速开始

搜索
查看: 10958|回复: 4

大数据平台与数据中台

[复制链接]
发表于 2020-6-29 09:09:27 | 显示全部楼层 |阅读模式
小评大数据平台与数据中台

笔者参与大数据相关工作数年了,平台类工作也从事或接触不少,开始觉得都很大不同,但简单看功能完备的那些平台总体也差不多,尽管细看确实也有不少差异,这都是基于行业问题的不同而特有的了。

大数据平台,首先是个平台,平台的用户应该有方便的使用数据或计算能力的途经,更高级一点,用户可以傻瓜式的使用平台的服务。因而一个完善的大数据平台需要提供且不限于数据仓库(模型管理,数据管理),计算服务(ETL,OLAP),任务的编排调度,数据可视化等。因而如果要构建一个大数据平台,不应只聚焦在存储及检索查询上,更应考虑平台的olap即计算的易用性。

现在流行大中台的概念,应用系统中的后台或中台,归根结底都是提供数据的,称之为数据中台也没错。数据中台除了需要提供通用能力外,还需要提供一些业务服务能力,就是一些看上去是行业的或需求定制的数据处理分析结果的查询能力。为此,负责数据架构或数据管理的会很头疼,因为要清晰的定义此数据中台与产品的边界,定义什么该放在中台,什么算到产品中去,这个边界通常是很模糊的。

我认为的数据中台应该要强调数据的分层管理,水平解耦,下层对上层提供公共的数据支撑及抽象。数据中台按层次应该提供数据模型及数据管理,数据服务及数据的二次开发应用能力,这个与前述大数据平台的描述并没有冲突,可以理解为大数据平台为数据中台架构提供技术支撑。

1.数据模型

可分为元数据模型,融合模型,挖掘模型三个纵向层次。元数据模型通过大数据平台中数据仓库的元数据管理定义所存储数据的样子,方便上层模型及应用的使用。融合模型则用来定义数据之间合并整合分拆的方式,挖掘模型用于定义从数据中挖掘分析有价值信息的方式。挖掘模型与应用有很大关联了,譬如人脸识别系统技战法用的尾随,同行,频繁夜出等都是预定义的规则模型。如果一些模型具有共性,很多业务场景都可能用到则可将其放入数据中台作为资产存在。

2.数据服务

对数据模型及其数据进行封装以便使用便形成了数据服务,按层次可以是数据的查询导入导出服务(以便作为分析的输入源及输出对象),也可以是数据的ETL服务(以对数据进行某些预置的处理流程),也可以是对数据的挖掘分析检测服务(如特定数据流的异常检测,用户画像,行为分析等)。

每个数据服务的开发都少不了业务人员的共同努力及沉淀,可以采用智能辅助开发的方式进行试错及评估,但真正上线还要靠最终的工程能力。

3.数据二次开发应用能力

数据的二次开发应用通常是数据平台之上业务的需要,一般做些具体行业的应用,虽然中台不必包含这些应用但其应该提供二次开发能力,即灵活的将所管理数据作为输入源,经可编排的中间处理环节产生输出到可被管理的数据目的地的能力。

此部分推荐采用交互式探索及sql的方式,其次拖拽式组件方式。前者更适用于数据开发者,其有一定的数据探索及分析技能,可以更灵活的对数据探究及处理。对工程则可使用sdk的方式。



站在大数据平台的角度看则是,

提供元数据管理能力,提供海量数据的存储检索使用能力
提供数据的计算任务管理,调度,编排管理
提供ETL能力
提供数据可视化能力
提供模型组件服务的调度
...
综上,对大数据平台及数据中台的各方面的描述只是选取了不同视角,大数据平台更强调技术组件及数据,数据中台则更强调数据的使用,同时对功能边界的界定也有所不同。
 楼主| 发表于 2020-6-29 09:11:16 | 显示全部楼层
回复 1# network

数据中台被誉为大数据的下一站,由阿里兴起,核心思想是数据共享。如今似乎人人都在提数据中台,但却不是所有人都清楚数据中台到底意味着什么。

一、什么是中台

要回答数据中台是什么,首先要探讨一下中台到底是什么。中台,通过对业务、数据和技术的抽象,对服务能力进行复用,构建了企业级的服务能力,消除了企业内部各业务部门、各分子公司之间的壁垒,适应了企业特别是大型企业集团业务多元化的发展战略。基于中台,可快速构建面向最终消费者和客户的前台应用,从而满足各种个性化特征的前台需求,为企业的数字化转型提供明确的道路。

从技术系统层面看,中台是企业级共享服务平台。传统的IT系统或套件没有太多关注系统能力的复用和共享,因此企业在多年的信息化过程中引入和建设了多套具有重复功能的烟囱型系统。而中台则要求对能力进行细粒度分析,识别共享能力,并将共享能力建设成统一的平台。因此中台不是单系统的服务化。

综上所述,中台是能力的枢纽和对能力的共享。中台是在集中的基础上建设分权的业务,进行联通,并为各业务提供统一的服务。因此一切将企业的各式各样的资源转化为易于前台使用的能力,为企业进行“以用户为中心”的数字化转型服务的平台,都是中台。

二、什么是数据中台

数据是从业务系统产生的,而业务系统也需要数据分析的结果,那么是否可以把业务系统的数据存储和计算能力抽离,由单独的数据处理平台提供存储和计算能力?这样不仅可以简化业务系统的复杂性,还可以让各个系统采用更合适的技术,专注做本身擅长的事。这个专用的数据处理平台即数据中台。

数据中台是一个用技术连接大数据计算存储能力,用业务连接数据应用场景能力的平台。

“连接能力”是数据中台的精髓。作为一个处在中间层的能力平台,“连接”是其根本任务。在业务层面需要尽可能连接各种数据源作为其生产资料;同时,由于生产数据的场景越来越多,覆盖了线上线下等多渠道,各数据生产资料之间也需要进行连接,才能形成全域的数据;数据在数据中台这个平台上按照标准的模型进行规范加工处理后需要服务于多种场景,同样需要我们提供标准的数据服务接口将数据与应用场景连接起来。因此,连接是数据中台的根本能力,也是数据中台的价值所在。

数据中台通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径。

数据中台把数据统一之后,会形成标准数据,再进行存储,形成大数据资产层,进而为客户提供高效服务。这些服务跟企业的业务有较强关联性,是这个企业独有且能复用的。

三、数据中台解决什么问题

在数据开发中,核心数据模型的变化是相对缓慢的,同时,对数据进行维护的工作量也非常大;但业务创新的速度、对数据提出的需求的变化,是非常快速的。

数据中台的出现,就是为了弥补数据开发和应用开发之间,由于开发速度不匹配,出现的响应力跟不上的问题。



数据中台解决的问题可以总结为如下三点:

1、效率问题:为什么应用开发增加一个报表,就要十几天时间?为什么不能实时获得用户推荐清单?当业务人员对数据产生一点疑问的时候,需要花费很长的时间,结果发现是数据源的数据变了,最终影响上线时间。

2、协作问题:当业务应用开发的时候,虽然和别的项目需求大致差不多,但因为是别的项目组维护的,所以数据还是要自己再开发一遍。

3、能力问题:数据的处理和维护是一个相对独立的技术,需要相当专业的人来完成,但是很多时候,我们有一大把的应用开发人员,而数据开发人员很少。

这三类问题都会导致应用开发团队变慢。这就是中台的关键——让前台开发团队的开发速度不受后台数据开发的影响。

四、数据中台和数据仓库、数据平台的区别

概括地说,三者的关键区别有以下几方面:

1、数据中台是企业级的逻辑概念,体现企业 D2V(Data to Value)的能力,为业务提供服务的主要方式是数据 API;

2、数据仓库是一个相对具体的功能概念,是存储和管理一个或多个主题数据的集合,为业务提供服务的方式主要是分析报表;

3、数据平台是在大数据基础上出现的融合了结构化和非结构化数据的数据基础平台,为业务提供服务的方式主要是直接提供数据集;

4、数据中台距离业务更近,为业务提供速度更快的服务;

5、数据仓库是为了支持管理决策分析,而数据中台则是将数据服务化之后提供给业务系统,不仅限于分析型场景,也适用于交易型场景;

6、数据中台可以建立在数据仓库和数据平台之上,是加速企业从数据到业务价值的过程的中间层。

五、业务中台和数据中台的关系

业务中台和数据中台作为“两个轮子”并肩构建了数字中台,支撑前台对客户提供从营销推广、转化交易到智能服务业务的闭环服务,促进企业业务的提升和发展。数字中台对内连接企业的后台系统,诸如ERP、人力资源、协同办公、财务管理等。

业务中台抽象、包装和整合后台资源,转化为便于前台使用的可重用、可共享的核心能力,实现了后端业务资源到前台易用能力的转化,为前台应用提供了强大的“炮火支援”,且随叫随到。

数据中台接入业务中台、后台和其他第三方数据,完成海量数据的存储、清洗、计算、汇总等,构成企业的核心数据能力,为前台基于数据的定制化创新和业务中台基于数据反馈的持续演进提供了强大支撑。可以认为数据中台为前台战场提供了强大的“雷达监测”能力,实时掌控战场情况,料敌先机。

从前台应用角度看,业务中台提供的“炮火支援”和数据中台提供的“雷达监测”是一体的,它们一起组成了支撑业务创新的两个“轮子”,缺一不可。

六、数据中台为何如此重要

为什么数据中台如此重要呢,大致有以下四个原因:

1. 回归服务的本质

浙江移动已经将 2000 个基础模型作为所有数据服务开发的基础,这些基础模型做到了 " 书同文,车同轨 "。

无论应用的数据模型有多复杂,总是能溯源到 2000 张基础表,这奠定了数据核对和认知的基础,最大程度地避免了 " 重复数据抽取和维护带来的成本浪费。"

曾经企业的数据抽取就有多份,报表一份,数据仓库一份,地市集市一份,无论是抽取压力、维护难度及数据一致性要求都很高。

同时,统一的基础模型将相关业务领域的数据做了很好的汇聚,解决了数据互通的诉求,这一点意义巨大,谁都知道数据 1+1>2 的意思。

2. 数据中台需要持续的业务滋养

在企业内,无论是专题、报表或取数,当前基本是烟囱式数据生产模式或者是项目制建设方式,必然导致数据知识得不到沉淀和持续发展,从而造成模型不能真正成为可重用的组件,无法支撑数据分析的快速响应和创新。

其实,业务最不需要的就是模型的稳定,一个数据模型如果一味追求稳定不变,一定程度就是故步自封,这样的做法必然导致其他新的类似数据模型产生。

数据模型不需要 " 稳定 ",而需要不断的滋养,只有在滋养中才能从最初的字段单一到逐渐成长为企业最为宝贵的模型资产。

以报表为例,企业报表成千上万的原因往往也是没有沉淀造成的,针对一个业务报表,由于不同的业务人员提出的角度不同,会幻化出成百上千的报表,如果有报表中台的概念,就可以提出一些基准报表的原则。

比如一个业务一张报表,已经有的业务报表只允许修改而不允许新增,自然老报表就会由于新的需求而不断完善,从而能演化成企业的基础报表目录。

否则就是一堆报表的堆砌,后续的数据一致性问题层出不穷,管理成本急剧增加,人力投入越来越多,这样的事情在每个企业都在发生。

3. 数据中台是培育业务创新的土壤

企业的数据创新一定要站在巨人的肩膀上,即从数据中台开始,不能总是从基础做起,数据中台是数据创新效率的保障。

研究过机器学习的都知道,没有好的规整数据,数据准备的过程极其冗长,这也是数据仓库模型的一个核心价值所在,比如运营商中要获取 3 个月的 ARPU(每用户平均收入)数据,如果没有融合模型的支撑,得自己从账单一层层汇总及关联,速度可想而知。

在如今的互联网时代,企业都在全力谋求转型,转型的关键是要具备跟互联网公司一样的快速创新能力,大数据是其中一个核心驱动力。

但拥有大数据还是不够的,数据中台的能力往往最终决定速度,拥有速度意味着试错成本很低,意味着可以再来一次。

4. 数据中台是人才成长的摇篮

原来新员工入职要获得成长,一是靠人带,二是找人问,三是自己登陆各种系统去看源代码,这样的学习比较支离破碎,其实很难了解全貌,无法知道什么东西对于企业是最重要的,获得的文档资料往往也是过了时的。

现在有了数据中台,很多成长问题就能解决,有了基础模型,新人可以系统地学习企业有哪些基本数据能力。

更为关键的是,数据中台让新人摆脱了在起步阶段对于导师的过度依赖,能快速融入团队,在前人的基础上进行创新。数据中台天然的统一、集成特性,有可能让新人打破点线的束缚,快速构筑起自己的知识体系,成为企业数据领域的专家。

 楼主| 发表于 2020-6-29 09:26:25 | 显示全部楼层
回复 2# network
中台产品面面观(1)

楚权


TalkingData数据平台产品负责人




​关注他
8 人赞同了该文章

摘要:


中台产品面面观将串联起数据、技术、业务三大中台,从数据资产化、流程自动化到应用场景化,实现中台降本提效、赋能前台。

面面观将兼顾深度和广度,并由一系列产品分析报告组成。深度主要是侧重于完成整个中台完整实践,产品包括平台产品、方法论产品、治理产品,并将其结合落地最佳实践。广度主要是侧重于分析国内外Top中台公司的相关产品,包括阿里、华为等。

中台产品面面观的第一篇是综述,将从市场、行业、需求、商业等角度进行整体分析。


前言


今天很多人在说中台(包括但不限于数据中台、技术中台、业务中台、组织中台等),个人理解中台不是一个产品,也很难简单的将其做成一个项目,这是一个工程。

中台是一个重塑企业的管理、业务、流程、数据、技术等全要素的工程,而这样的工程需要战略决心和高层的支持、对应的组织架构和大量的人才投入(包括但不限于数据分析师、数据工程师、数据科学家、数据产品经理、前端工程师、后端工程师、业务人员等),并配套相应全链路的数据工具与流程保障。


本人先后负责数据治理和数据平台的中台产品工具和数据相关工作,其实很早就想写中台产品系列分析报告了,但一直没有时间。

恰好最近遇到了一系列契机:

1、国家方针,党的十九大报告提出要“推动互联网、大数据、人工智能和实体经济深度融合”,进一步突出了大数据作为国家基础性战略性资源的重要地位,掌握丰富的高价值数据资源日益成为抢占未来发展主动权的前提和保障。建设好的中台将数据价值真正挖掘并应用。

2、技术推动,中间件、大数据等技术的日益成熟为中台的发展起到了强有力的推动作用。

3、业务推动,用户需求个性化,产品的快速迭代和试错,以此满足用户、抢占市场。

4、中台火爆,BATJ等许多企业纷纷推出自己的中台建设方案。

5、正因为以上几点,很多行业内的同学也和我频繁交流了中台建设细节,在这里也是畅书自己所想,分享出来和大家一起更深入的交流。

基于以上契机,正式开始写中台产品系列分析报告(中台产品面面观)。


中台战略的构建,从功能上说,包括数据中台、技术中台、以及业务中台。其中数据中台的本质是将数据资产化,技术中台的本质是将流程自动化,业务中台的本质是将应用场景化。


图 阿里中台架构


本系列中台产品分析报告(中台产品面面观)将串联起数据、技术、业务三大中台,从数据资产化、流程自动化到应用场景化,实现中台降本提效、赋能前台。


报告将兼顾深度和广度,并由一系列报告组成。

深度主要是侧重于完成整个中台完整实践,产品包括平台产品、方法论产品、治理产品,并将其结合落地最佳实践,数据平台型产品包括于DataWorks、DataPhin、Data Science Studio、Data Catalog、Data ATM等,数据治理型产品包括线下消费标签、原子标签、智能招商模型等,数据方法论型产品包括OneData、OneService等。

广度主要是侧重于分析国内外Top中台公司的相关产品,包括阿里、华为、百度、腾讯、网易、京东、TalkingData、数澜、Teradata、Microsoft、Google、Amazon、IBM等。


中台产品面面观的第一篇报告是综述,将从市场、行业、需求、商业等角度进行整体分析。


图 全文结构


一、市场分析

本节将分析市场,了解中台用户及对应需求。

图 市场分析部分文章结构


正所谓理解当下最好的方式,是回头看看过去,说到中台市场,我们先回顾一下这十几年来中国企业数据化历程,大致经历了如下几个阶段,正因为这几个阶段,才有了现在的中台市场。


第一阶段,2000年之后,企业内部数据化。

2002年~2005年,中国许多大型企业开启了一轮以ERP、CRM为主的底层IT建设。

2015年前后,中国许多大型国企和Top民企都基本完成了内部核心业务的数据化建设。

这为中台的出现提供了第一个先决条件,底层IT架构的完善和初步的“业务数据化”。


第二阶段,2012年之后,“互联网思维”萌发。

这一时期,随着BAT等互联网名企纷纷上市,所到之处,“消灭你,与你无关”。备受电商冲击的传统零售商,被搜索和门户打得黯然神伤的传统媒体。

2013年11月3日,新闻联播更是发布了《互联网思维带来了什么》专题报道。

由此,各行各业被逐渐植入了一个信念:互联网思维。而互联网思维中,十分重要的就是数据思维。

这为中台的出现提供了第二个先决条件,大家开始逐渐意识到数据的价值。


第三阶段,2013年之后,移动互联网发展产生海量数据。

通过移动设备和蓬勃发展的各类传感器,更多行业积累在移动互联时代产生的数据量级远超以往。

同时新的业务需求源源不断的涌出,如基于大数据的营销、风控、辅助决策类业务,许多企业近年内开始用起了SaaS服务。

这为中台的出现提供了第三个先决条件,移动互联网产生的海量数据,潜在的数据治理和数据应用需求。


第四阶段,2016年之后,互联网进入下半场。

智能手机销量和网民规模增长减缓,互联网人口红利逐渐消失,此时,一方面可以出海继续追人口红利,另一方面就必须精耕细作存量市场,典型的像这一时期特别火爆的“增长黑客”,提倡的核心理念正是数据驱动,低成本高增长。

这为中台的出现提供了第四个先决条件,催生对自有数据价值的更深认知和深程度的数据治理和数据应用。


随着以上四阶段的发展,逐渐演化到了现在的中台市场,可以总结出两大问题:“烟囱林立”和“齿轮失衡”。


图 回顾历史,分析当下


1.“烟囱林立”

各系统沉淀的数据之间难以打通,企业内外部数据难以连接,系统重复建设。

为了满足新业务的即时需求,许多企业常常同时使用多个IT系统,各个系统数据往往不同,不同部门也动不动就另起炉灶大量重复开发,各个系统有如一个个林立的烟囱互不连通,


那么“烟囱林立”(数据不通、重复开发)有什么结果呢?

重复开发和维护,成本高昂,可能马上会“死”。

数据不通,数据不能较好的支持前端业务,公司没有护城河,慢慢也会“死”。


在这里还是看一下阿里的例子,


1.1、重复开发和维护,成本高昂,可能马上会“死”。

数据中心不但不是利润中心,反而成为了巨大的成本中心。

以阿里为例,2014年阿里面临着大数据还没来得及发挥作用就已经消耗完业务带来的利润的现状。

见微知著,用数据说话,当时5张几乎完全重复的日志基础表在源头就已经被复制到不同的数据团队中,这5张重复表占据了数10PB的存储空间,当时存储1PB数据表耗资上百万元,其中还不算电费等维护费用,更不要说研发和维护这些表的人力成本。

在数据公共层建设一年左右总结仅2015财年,批量数据计算总时长减少了50%,数据计算成本节约了近亿元人民币,数据下线节约了近百PB存储空间,数据存储成本节约了近亿元人民币。


中台建设,生死存亡。

其实这也是阿里率先做中台建设的重要原因,对于其他企业,可能没有那么严重,但重复建设和维护带来的高昂成本不容小觑。同时,也埋下了后续打通维护的“病根”。


1.2、数据不通,数据不能有效支持前端业务,不利于业务的发展和沉淀,公司没有护城河,慢慢也会“死”。

以阿里为例,阿里作为一家生态公司,业务涵盖电商、金融、广告、物流、文娱等各个领域,随着人们互联网行为的多样化,在不同域产生各自的业务数据,比如在高德打车、在天猫购物、在优酷看视频、在支付宝交电费。对阿里巴巴全局而言,这就是一个个数据孤岛。数据不通,我们看一个“人”的行为是片面的,数据价值也是很有限的,数据只有融通才能产生更大的价值,从而产生一个“人”立体鲜活的画像。


同样,我们可以通过一个例子来说明。

某大公司旗下的多款产品都有用户“A”的使用记录:

租房产品:A最近频繁浏览北京东直门地铁站附近的小区;

求职产品:A最近投递了东直门附近多家公司的岗位;

外卖产品:A点餐配送地址都在北京朝阳。

根据上述内容,如果公司平台数据是打通的,那么可得出一个初步结论:用户A计划从朝阳跳槽到东直门某公司,并准备在东直门附近居住。

根据互通的数据信息,还可以再细致分析下去:根据A的日常饮食习惯与所浏览的租房信息,可以判断他的消费层次;结合投递职位的薪资判断生活水平,分析其家庭关系判断其迁移目的比如说是不是伴侣在东直门,所以也想搬过来。

慢慢的,一个完整的用户画像跃然纸上,数据价值威力显现。

相反,数据不通,那么数据价值将大打折扣。

图 阿里GProfile对“人”的立体刻画


2、“齿轮失衡”

随着企业的不断发展,前台和后台的“⻮轮速率匹配失衡”的问题逐步显现,后台很难及时响应前台进行创新。


互联网化时代面临着场景、业务增多且快速变动的情况。前台和后台就像是两个不同转速的⻮轮,前台要快速响应用户的需求,讲究的是快速创新迭代,所以往往转速越快越好;⽽后台由于⾯对的是相对稳定的后端资源,⽽且常常是系统陈旧复杂,甚至还受到法律法规审计等相关合规约束,所以往往是稳定至上,越稳定越好。失衡达到一定程度时,就是中台兴起之时。


可以设想这么一个场景,现在市场有一个很好的业务机会,我们想抓住这个,进行创新/试错。如果实现这么一个机会所需的资源投入需要从0到1占用20人4个月的时间,并且还面临着无法实现预期、业务机会不正确等风险,那么这个创新/试错实在太高了,大多数企业都无法支持,从而任由机会流失。

但如果我们打造了一个很好的中台,可以基于中台只投入5人2周的时间建设产品并推向市场进行创新/试错,再根据反馈进行迭代,那么大多数企业应该还是很乐意进行这样的创新/试错。

现在我们也正是基于我们的技术中台和数据中台等中台能力进行业务创新/试错,并打造了金融、零售等领域许多经典的数据产品。比如线下选址数据产品智选的数据层建设基本复用了我们数据中台的位置域数据能力,数据中台的数据能力现在已经全部接入我们的数据服务商场(SDMK)并以Service服务的形式对外输出,因此只需要几位工程师花几天时间做SDMK相关服务的调用和调整,花精力建好大中台,从而以低成本进行业务创新/试错。

(创新/试错:做对了就是创新,做错了就是试错。)


图 TD数据服务商场(SDMK)相关服务


关于中台最经典的例子就是大家耳熟能详的芬兰手游公司SuperCell了,虽然这家公司每年能创造15亿美元税前利润,但只有不到200名员工。SuperCell就像是一个高产的游戏孵化器,在几年内开发出了10款以上的游戏,虽然大部分用于试错的游戏都在研发过程中被腰斩了,但最终呈献给用户的几款游戏(《部落冲突》《卡通农场》《海岛奇兵》等)都是经典中的经典。

2014年马云欧洲之旅参观了Supercell, Supercell以最多不超过7个员工组成独立的开发团队作为小前台团队(内部称之为Cell),他们开发出的游戏看上去风格迥异,却存在许多共同之处。

在业务上,共通的东西包括支付系统、用户系统等等,

在技术上,共同的东西包括游戏引擎,内部开发工具等等。

而这些共通的资源,都可以由一个强大的“中台”来提供。


图 Supercell前中台结构示意


早期的阿里和其他公司一样,在IT建设方面也是“烟囱式”的,由不同的技术团队支撑不同业务。比如淘宝、天猫、聚划算这三大核心电商业务,在过去是三套独立的系统,都建设了用户、商品、交易、评价等业务功能,并且互相独立,无法连接协同。

实际上,不只是阿里,这种重复投资、无法协同的独立烟囱架构,是目前国内绝大多数企业信息化建设时所遇到的普遍问题。


一个公司是有很多员工都有想法的,这个想法能否落地通常可能要经历立项、申报预算、评估投入产出比、研发周期、采购、营销等多个环节,十分复杂且漫长。

所以阿里启动中台战略,在云计算架构下,横向打通各个业务系统。


构建业务中台,把各不同业务中的相同部分抽离出来,由中台进行统一管理,再把它们重新组合,分配给上线的新业务。这样,新业务就能以模块化的形式快速上线。

比如聚划算的诞生就可以说的是国产中台经典案例,当时2010年市场上团购业务蓬勃发展,阿里也想建自己的团购平台,但市场上已经有了美团、高朋等专业的团购网站,面对先入者和新的业务模式,其实这对于阿里也是一次尝试。

所以当时阿里投入了产品、运营、研发等10+人用了1月+就成功上线。而且跑的非常好。

为什么这么快,因为80%的东西不需要做了,中台有现成的业务能力(用户、商品、交易、评价等),直接调用就行了。

上线后聚划算展现了超出想象的流量吸力,阿里确定这个是重要流量入口后,大力投入,在14个月之后,这个10+人的小团队发展为600+人的事业部,与淘宝、天猫并驾齐驱。


构建数据中台,打通数据孤岛,抽象公共模型,由中台统一管理,提高数据处理效率。

天猫和淘宝都有各自买家的评价数据。在过去,淘宝和天猫的数据体系是没有打通的。但实际上,二者在鉴别虚假评价时所使用的数据模型又是相同的。所以即便业务场景不一样,但很多基础数据模型和算法可以被重复使用。


建立中台后:

1、将公有化的那部分做沉淀,毕竟有太多的问题在各个地方都反复出现,每一次都有人掉入差不多的坑。公有化沉淀之后复用,形成中台壁垒。

2、剩下的就是将差异化的那部分做好。周期短、成本低,这样大家就敢去创新。


回到阿里的案例,如果没有高层的支持(马云、行颠)、配套的组织(共享事业部和 2010 年对聚划算流量的控制到现在的中台团队)、创新的业务(淘宝、天猫、聚划算到现在的新零售),那么也很难有现在的阿里大中台。


即便中台战略落地了,每天的变更仍然频繁,每天会产生众多新的需求。比如新收购了一个公司或者新成立一条业务线,新的 IT 应用如何融入到现有的中台上来,让中台能力更丰富,这就是中台能力持续进化的过程。


图 阿里巴巴云上数据中台赋能业务运行


中台,帮企业把数据用起来,连通传统IT架构和各类数据,平衡前后台矛盾,最终提升决策水平和业务表现,帮企业实现商业本质。

中台就是整合治理资源,降低成本提高效率,更好响应前台需求。

不仅仅是工具和方法论,更需要企业战略及组织架构等全方位的规划和配合。


二、行业分析

本节主要全局概览行业内做中台的主要公司。


图 行业分析部分文章结构


首先,我们引用爱分析的2019年数据智能行业图谱,一图概览中台主要公司。

(ps:对于爱分析的分类,肯定仁者见仁智者见智,包括我也有不一样的观点,但此图能让大家对行业有一个基本的认识,故在此引用。)

图 爱分析2019年数据智能行业图谱


1、主流互联网公司


目前中台概念的火爆主要就是源于主流互联网公司的中台相关建设:

2018年9月,腾讯宣布新成立云与智慧产业事业群(CSIG)和技术委员会,技术委员会将负责打造技术中台。

2018年11月,阿里云事业群升级为阿里云与智能事业群,并开始对外输出中台能力。

同月,美团被曝正在打通大众点评、摩拜等各业务间的数据,构建数据中台。

2018年12月,百度调整组织架构,王海峰同时负责基础技术体系(TG)和AI技术平台体系(AIG)。此后,王海峰在公开场合表示,打造技术中台是百度调整组织架构的战略方向之一。

同月,京东进行有史以来最大组织架构调整,增设中台部门,京东商城CEO徐雷还在去年年会上强调:要将中台提升为“永不停歇”的超级引擎。

2019年3月,字节跳动被曝正在搭建“直播中台”,抖音、西瓜、火山视频3款APP未来将共用技术和运营团队。

2019年5月,腾讯宣布将进一步开放数据中台和技术中台。其中,数据中台包括用户中台、内容中台、应用中台等;技术中台包括通信中台、AI中台、安全中台等。

其他相关内容在此不一一枚举。



图 主流互联网公司的中台建设历程


阿里可以算是互联网公司里中台的鼻祖了,早在2015年12月,阿里巴巴集团CEO张勇就宣布启动中台战略。成为中国乃至全球第一家践行中台战略的大型互联网公司。阿里中台起步早,发展相对成熟,同时明确表示要对外输出中台,并已经做出了许多经典案例。




图 阿里云墨迹天气案例


2、大数据公司


典型的如我们TalkingData正在着力打造我们的中台(技术中台、数据中台),强调数据和科技。

还有很早旗帜鲜明地提出要做数据中台,像数澜,以及后续渐渐进入或被人归为这个赛道,如北交云、袋鼠云、奇点云等。




图 TD数据中台价值定位


数据中台型:

在数据中台领域深耕的,这里可以根据自身是否有数据源将公司分为两类:

第一类是自身没有数据源,帮助客户搭建数据中台并服务于客户的公司,典型的如数澜、滴普等公司。

第二类是自身有数据源,并形成三方数据中台并服务于客户的公司,典型的如我们TalkingData和个推、极光等公司。

现在第二类公司也开始慢慢涉及第一类公司的业务,即帮助客户搭建数据中台并服务于客户的公司。因为自身有数据源、自己内部有数据团队和业务团队,有大量的内部需求来迭代中台产品,因此做第一类公司的业务只是一个“数据中台对外”的问题,同时产品因为场景多也更具竞争力。


技术中台型:

在技术中台领域深耕的:

这一块根据平台特性细分,玩家很多:

主攻用户行为分析平台,如神策,

主攻数据科学平台,如第四范式,

其他等等~


业务中台型:

在业务中台领域深耕的:

很少有大数据公司一开始就直接切入企业的业务中台,大部分都由技术中台和数据中台公司演化而来。

一般都从行业应用切入,在服务大量垂直行业客户并掌握场景需求后,逐步形成业务中台能力。

从客户价值的角度来看,业务中台最接近业务场景,实现技术赋能,按照效果计费,客户价值较高。

比如我们切入垂直行业餐饮销量预测领域,帮助世界顶级餐饮集团百胜 (YUM)旗下肯德基做销量预测,通过销量预测解决肯德基采购和人员排班问题,节省成本每年亿级别,受到一线餐厅经理的热烈欢迎,集团十分认可。我们也打造了近实时生产决策的标杆项目,同时沉淀零售餐饮行业销售预测领域知识并积累算法模型大规模工程部署经验。




图 TD销量预测系统示意


3、传统软件服务商

这部分公司主要是传统软件服务商中的佼佼者,老一代IT架构的建设者,如金蝶、用友等。




图 用友全域中台


三、需求分析


本节将进行需求分析,分析中台的主要用户及使用场景。



图 需求分析部分文章结构


中台的主要用户可以分为生产者、消费者、监管者三大类群体。


生产者主要指我们的数据团队,包括数据产品经理、数据分析师、数据科学家、数据工程师等,他们将使用我们中台数据工具生产数据,具体场景包括数据分析、数仓规划、开发运维、算法开发、资产管理与运营、数据安全与合规管理等。(ps:其中不同的数据生产场景将使用我们不同的数据工具。)

对于生产者,他们想要的是高效治理数据资产。

正如之前提到的,烟囱式数据体系造成数据调用混乱、口径不统一、质量参差不齐、建设和维护的重复,造成人力、物力、时间等资源的浪费和前端使用不便。

这正是生产者(组织中台)+中台(数据、技术)需要重点解决的问题,我们SDK采集等数据主要是移动互联网等数据,因此我们将应用统计分析、游戏运营分析、移动广告监测等几条业务线等数据统一规划,通过原子标签体系开放出设备、APP、位置、wifi等几个主题域的相关数据集数据集供前端使用。打破烟囱,降本增效。




图 TD原子标签体系


消费者主要指我们的业务团队,包括BD、咨询、运营、商业分析师乃至管理层(CEO、CFO、CTO等),他们将消费我们生产者精心准备的数据,结合业务直接运用数据最大程度发挥数据的价值。对于不同消费者,数据应用的诉求和场景很多。

对于管理层(CEO、CFO、CTO等),他们想知道自己有多少数据资产,分布情况怎么样,ROI怎么样,趋势怎么样,他们想要准确评估及合理应用数据资产,做好企业战略管理。

对于一线业务人员,他们不关心到底有多少张数据表以及底层实现,他们只关心自己对应的业务,比如会员数据这类具体业务主题域的数据,他们想要的是可以清晰查看并快速使用我们的数据资产,并解决业务问题创造数据价值,传统行业借助数据进行经营管理和分析。

正如之前提到的,没有前台何来中台,中台将赋能前台,前台将直接享受我们中台的成果,可以快速查看并使用我们的数据资产,业务平台可以很方便等调用我们的主题服务,一个个完整等主题服务可以很方便等供我们等客户和合作伙伴使用,咨询等业务人员可以很方便的提取高质量数据进行营销投放、竞品分析等解决方案的制定。




图 TD中台业务场景的实现过程


监管者包括公司内部法务等相关团队、App开发者、个人信息用户、国家相关部门(网信办、工信部、公安部等)。这部分用户更关注数据资产安全合规问题。

在这一部分,一方面从法务角度我们结合法规确定了SDK开发者协议、隐私政策、服务条款,另一方面从中台角度我们去标识化用户并围绕数据采集、数据传输、数据存储、数据汇聚、数据使用、数据删除等一系列流程进行数据保护。中台健全的数据安全管理体,包括信息分级分类、加密保存、数据访问权限划分,指定内部数据管理制度和操作流程。




图 TD数据分级管理策略


四、商业分析


本节将分析中台商业模式。



图 商业分析部分文章结构


商业模式可以分两大类,长远战略和直接盈利。


长远重战略,我卖中台但不靠中台赚钱,中台只收个成本价甚至免费,我在其他地方赚钱,卖了中台后,我占了一个入口或者获得一个资质,讲战略做长线。这部分内容在此不做展开。


现在资本市场不景气,企业需要有造血能力,才能生存并进一步发展。

本节主要讨论直接盈利。


现在大部分公司的中台都在建设中,主要还是服务于内部用户,建中台的目的还是在降本增效,降低成本赋能前端,间接产生商业价值,在此不做展开。


本节重点更聚焦讨论在正式对外售卖中台的场景里,中台的商业模式是什么。


商场变化莫测,玩法很多,但万变不离其宗,我们从中台的本质开始分析。

中台包括业务中台(应用)、技术中台(平台)、数据中台(数据)、组织中台(人),对应的商业打法可以单独售卖,也可以结合打包售卖。具体怎么卖,综合客户需求和自身ROI等隐私考虑。


这里先说几种打法打打样,


1、只卖技术中台(平台)

这种模式在国内比较少,在国外做的比较好的是Dataiku,卖你一个数据科学平台,在你这私有化部署一套,纯卖软件,其他不管。

这样的好处是边界很清晰,成一单就收一单的钱,后续实施维护等成本较低。

但缺点也很明显,正如我提到的,在国内比较少,因为现在纯卖软件的时代已经慢慢过去了,主要原因:

(1)、客户更关心你能去解决具体的业务问题,纯买一个技术中台,上不碰业务中台(应用)下不碰数据中台(数据),很难找到合适的场景切入,后续客户要解决业务问题还有很多事情要做。

(2)、纯卖软件,陷入恶性价格战,最终大家都不挣钱。



图 Dataiku产品截图


2、只卖业务中台(应用)

只有真正为客户解决问题,客户才更愿意为此付费。因此,从业务切入是一个不错的选择。

切业务,打法也有很多。

2.1卖一个应用平台SAAS,比如专注线下选址场景的应用平台智选,为新零售、银行等行业提供门店选址、商圈洞察、潜客浓度探索等服务,在量化数据的基础上,为选址的开、停、并、转研究场景提供决策支持。



图 TD智选产品截图


2.2卖一个数据服务DAAS,比如欺诈风险侦测模型服务,专注于为客户解决现金分期中贷前欺诈风险识别问题。



图 欺诈风险服务调用演示


具体打法还很多,在此不一一展开。


说了几种具体打法后,在整体梳理一下中台商业模式,可以单卖/组合应用(业务中台)、平台(技术中台)、数据(数据中台)、人(组织中台)设计商业模式以进行盈利。


1、卖业务中台

1.1卖业务平台SAAS,主要是软件付费模式。

1.2卖数据服务DAAS,主要是服务调用计量计费。

1.3卖解决方案,按解决方案价值计费


2、卖技术中台

2.1、卖数据平台PAAS,技术中台中的一个个数据平台PAAS又可以进行单卖/组合。

技术中台里的数据平台包括但不限于数据分析平台、数据目录平台、数据提取平台、模型自动化平台、行为分析平台、AB测试平台、BI平台、营销平台等等。

每一个数据平台,又可以按功能模块及能力进行单卖/组合。



图 阿里云DataWorks版本及收费标准


2.2、基础设施IAAS,因为数据平台底层依赖存储及计算资源,因此对应这类资源服务类商品还需进行计费,对应的收费方式包括包年包月(资源包、独享资源)、按量付费。

选择不同地区不同规格等机器和不同等带宽又会有对应等计价标准:




图 云物理服务器 产品规格及价格示意


3、卖数据中台

可以卖支撑数据中台的数据平台,这部分可以参考技术中台。

可以卖数据,卖数据集、模型、服务,这部分需要慎重考虑合法合规问题,最佳等数据输出方式还是数据服务DAAS,这部分可以参考业务中台。


4、卖组织中台

组织中台不会单独售卖,它渗透在业务中台、技术中台、数据中台中。

业务解决方案等包装、业务平台和数据平台的部署和实施,数据建设和规划等等都离不开人(组织中台)。


结语


以上,从市场、行业、需求、商业等角度对中台进行了整体分析。

至此,中台产品面面观(1)-综述告一段落。


后续报告将兼顾深度和广度,串联起数据、技术、业务三大中台,进行进一步分析。

深度主要是侧重于完成整个中台完整实践,产品包括工具产品、方法论产品、数据产品,并将其结合落地最佳实践,数据平台型产品包括于DataWorks、DataPhin、Data Science Studio、Data Catalog、Data ATM等,数据治理型产品包括线下消费标签、原子标签、智能招商模型等,数据方法论型产品包括OneData、OneService等。

广度主要是侧重于分析国内外Top中台公司的相关产品,包括阿里、华为、百度、腾讯、网易、京东、TalkingData、数澜、Teradata、Microsoft、Google、Amazon、IBM等。


很多人会高估中台的短期价值,但低估中台的中长期价值。

中台之路,路漫漫其修远兮,吾将上下而求索。


 楼主| 发表于 2020-6-29 10:35:10 | 显示全部楼层
中台是什么?为什么?怎么做
不如杯在手
不如杯在手
千里纵马,看一看世间的繁华
​关注他
5 人赞同了该文章
中台从 18 年下半年开始大火,并随着阿里腾讯都采用了中台的建设思路,仿佛不做中台,企业的发展就受限了。而我这半年的工作,也从前端业务撤回到后台支撑,最近又对重新梳理了一下中台,并且结合自己的工作经验,有一些思考。

中台的起源

中台之所以能大火,主要有 3 件事情。

其一是阿里提出「大中台小前台」的战略构想。马云在参观芬兰的 supercell 公司后,提出了中台战略,包括天猫、淘宝、阿里云等,开始中台化,通过前台领导中台,实现业务快速迭代,支持阿里向前发展。

其二是华为提出「听得到炮火的人指挥战斗」。任正非强调谁接近客户,谁有决策权,但是对决策的人的支持,就是中台。任正非说「我们后方配备的先进设备、优质资源,应该在前线一发现目标和机会时就能及时发挥作用,提供有效的支持,而不是拥有资源的人来指挥战争、拥兵自重。谁来呼唤炮火,应该让听得见炮声的人来决策。」

其三是腾讯组织架构调整,明确提出技术中台的事情。在受到头条系的积压后,腾讯也提出要中台化,并且由技术 VP 来进行落地执行。

除上三者之外,滴滴,美团,京东都纷纷拥抱中台,而自身就有中台能力的字节跳动则持续快速发展。中台成为快速成长的企业的灵丹妙药,成为要突破瓶颈企业的法宝。

中台是什么,为什么需要,提供了什么价值

中台是「企业级的资源复用」,这句话是我见多对中台最好的描述。如果把中台的核心能力抽象成三个词,我会抽象为「赋能」、「标准化」和「打通」。

赋能精确的描述了中台和前台的关系。100 人的团队和 10 人的团队相比,其调转肯定更慢。直接面向业务的前台,只有越小越轻,才能更灵活,那么,对业务支撑能力的需求就更加明显。而中台就是为此而生,因此,赋能是中台的第一关键词,任何脱离了前台业务的中台都是镜中花水中月。

标准化精确的描述了中台的建设方向,是对企业级资源复用的阐释。中台的标准化意味着服务能力延展性,通用性,复用性。需要放在中台解决的问题,都意味着可以脱离前台独立存在,如果充分的将业务服务能力解耦,则能充分提高服务能力,也意味着企业资源的集约式发展。

打通精确的描述了中台之间的关系。如果没有打通,则中台还是孤立的系统,只能解决单点的问题,如果能进行打通,则能解决一个链路的问题,实现快速接入,快速服务的目标。

中台对于企业的核心价值解决资源应用浪费,和资源应用浪费的问题。中台是真正为前台而生的平台(可以是技术平台,业务能力甚至是组织机构),它存在的唯一目的就是更好的服务前台规模化创新,进而更好的响应服务引领用户,使企业真正做到自身能力与用户需求的持续对接。中台使得原有小团队简单处理的问题,在中台能力上能得到专业深入的解决,实现企业能力的提升和优化。中台更多是因为公司业务在发展到某一阶段时,遇到瓶颈与障碍后,为解决实际问题而提出的解决方案。

随着经济形势越来越紧张,地主家里也没有余粮,企业寻求进一步发展和扩展的难度越来越大,重复造轮子就意味着资源的浪费,精力的分散,解决方案也无法实现针对性。中台解决的核心问题是企业级的重复造轮子,并由此带来的各种墙,比如数据墙,信息墙等。

中台怎么划分,怎么建设

中台可以划分为业务中台、数据中台、技术中台、组织中台等几大类,其中数据中台、技术中台较为通用,业务中台各个公司的差异性较大,组织中台是纯软性的,咱们先分散的聊一聊。

业务中台是将部分的可以复用的业务能力抽象出来,比如电商的支付中台,多 APP 的用户中台、内容分发的内容中台,滴滴的调度中台,美团的外卖配送中台、头条的增长中台 等等。而真正中台最先落地的,也是在这里。业务中台的成立一般是在一个部门中做好后,慢慢脱离业务,成为独立支撑部门,支持更多业务。因为这种能力和资源,不可能重建,比如支付能力,比如用户 ID 的能力,比如内容采买获取的能力 等等。建设业务中台的核心是为前台的业务目标服务,并且随时的将流程标准化和通用化,用中台的思考方法去建设。

数据中台是公司的数据基础,退成 BI,进为数据中心,成为企业的发展支持中心。数据中台的基础是数据的准确和量化,在很多业务中,为了快速发展,经常讲数据的获取、处理过程简化,而最后多需要重构,以减少业务耦合,比如监控系统等等,都是如此。数据 中台的建设的目标是数据的准确、覆盖和及时性。

技术中台和组织中台,和中台产品经理工作相关性也比较少,目前工作范围涉及比较少,就不展开。

中台的建设的核心思想应该是以自下而上的演化为主,但需要老板自上而下的支持。可能很多人不同意这个论点,其实我刚开始也同意,我一直认为中台像是 ERP,是一个一把手工程。后来仔细想想,对于中台可能不是如此,因为中台的第一关键词是 赋能,一个自上而下的体系,其核心要务必然是自我生存和发展,那么赋能就可能难以实现。

中台的建设一定是深深的扎根于业务,自下往上的发展和演化,刚开始可能是很简单的功能,后来慢慢复杂化和多样化,逐步沉淀。建设过程中也要实时警醒,不能为了业务而业务,也不能为了中台而中台,在设计的过程中,不影响投入的情况下,进行一定的复杂化,是有价值的。如果单依靠一把手工程,其决策优先级判断会倾向于大而全,那么做出来的可能要前台来配合中台,反而形成对前台的掣肘。

中台产品经理的发展和我的一些经验

中台产品经理,初期更像是后勤部长,后期更像是战略部核心。中台产品经理最好脱胎于业务,其核心素质模型是流程抽象能力,业务服务能力。中台产品经理的成长,是要陪着多个业务快速发展的,能提供通用化的能力 。

在两年前,我一直想脱离后台做业务,觉得做业务才有前途,做后台和支撑缺乏对产品的思考,后来去做了一年半业务,再回来做后台的时候,刚好遇上中台的概念,发现还是比较匹配的。在工作中,我主要搭建了NLP 训练中台和内容链路中台。NLP 训练核心解决分类能力,通过搭建样本标注、数据分析等模块,支持任何分类能力,为业务的分类准召覆负责。内容链路主要支持多种内容获取方式,保证内容获取合理性,时效性和内容质量。搭建多种审核机制,为业务的内容质量负责。

在进行这些过程中,启动的时候,都没有深入的中台的思考,后来做的一般,感觉可以成为中台。如果是按照一把手工程来进行,估计业务会很久用不上。

最后,希望中台的思想能进一步演化,我相信不仅仅是大企业需要,小企业,甚至初创型企业,也需要在开始的时候就这样设计,从而发展也越来越快。
 楼主| 发表于 2020-6-29 14:27:49 | 显示全部楼层
回复 4# network

目录
数据平台
数据中台
数据平台与数据中台的区别与联系
区别
联系
整体架构
硬件层&虚拟化
数据平台
存储能力
计算能力
管理平台
数据中台
数据仓库
数据集市
数据开发
数据运维
赋能对象
赋能管理者
赋能业务运营
赋能业务中台
赋能数据变现
赋能合作伙伴
数据平台
数据平台是在数以万计的硬件之上建立统一的基础数据存储和计算的服务,当然我们所建设的数据平台需要周边一些辅助的服务来支撑核心服务的运行,以及一些数据平台管理类工具,辅助日常SRE工作
数据中台
数据中台是抽象了数据能力的共性形成的数据服务能力,是一系列数据服务,用系统化思路解决数据前台对数据获取的难度,更好的赋能业务
数据平台与数据中台的区别与联系
区别
核心区别是-是否跟业务强相关
数据平台和业务的联系并不密切,提供基础的存储,计算,调度,数仓工具等基础的技术服务,至于业务数据怎么存储,数据表如何组织,数据模型如何建,数据如何服务业务,数据平台并不关心
数据中台的目的是通过系统化思路的去组织数据,让数据更好的服务业务,包括数据前台的报表,自助分析,OLAP,维度指标管理,业务中台等
联系
数据平台是数据中台的基石,数据中台要基于需求业务体系,在数据平台之上去建设数据体系
数据中台的建设,也会给数据平台带来更多的技术需求和压力,促进数据平台技术栈更加多样性,性能向更优化方向发展
整体架构
此处的图是包含了这个数据生态的基本体系架构,从低向上的依赖关系

硬件层&虚拟化
基础的IT设施,提供基本的运力
万物上云,为云上的服务提供动态缩放的能力,降低整个it设施的成本,提高it设备利用率,当然很多公司的数据平台还有很多直接基于硬件搭建的
数据平台
存储能力
分布式文件系统,不论是基于磁盘还是基于内存,只是不同存储成本的文件系统,带来不同存储性能和特性
MQ类的主要支持数据采集和实时计算
数据库主要支持查询类和实时计算,类别很多,关系型,nosql,各有千秋
计算能力
离线计算,提供批处理计算能力,主要负责天,周,月等数据生产,主流的像早期的mr,后期的spark等
实时计算,提供实时数据处理能力,负责实时数据生产,当然实时离线是我们人为划定的时间界限,对于引擎而言,像spark,flink都提供实时和离线的解决方案
算法平台,主要提供机器学习,人工智能,数据挖掘的计算能力,算法框架的选择也是很多,当然在大数据生态还是需要运行在yarn这样资源管理平台,才可以发挥大数据的价值
查询类服务,提供一些和用户交互的查询能力,像一些mpp框架等,多数提供sql查询能力
管理平台
管理平台,是在原生的大数据生态的基础之上,为了更好的管理集群服务,管理集群的资源,提供灵活SRE能力和资源核算审计能力的一系列工具和合称
数据中台
数据仓库
数据中台包括数据仓库的全部内容,数据仓库为数据中台提供了数据对外提供服务的基础资源,数据中台将数据仓库建设的投入价值进行最大化,以加快数据赋能业务的速度
大家都知道数据仓库需要分层建设,需要面向业务主题,但是规范和落地往往是有差异,中台可以帮助数仓建模流程从文档化向标准化迈进,降低由于团队认知差异带来的数仓规范不统一的风险
数据集市
集市层主要面向具体应用做开发,是数仓向数据前台数据的重要连接层,数仓建设的好坏,对数据集市的建设影响很大
数仓和数据集市同样都面临数据重复建设,数据不一致的问题,需要中台协助数仓和数据集市规范化落地
数据开发
数据中台需要改变原来的开发模式,提供全流程的数据开发解决方案,规范开发流程的每一个步骤,达到大一统的效果
维度指标元数据管理
指标树主要维护了指标和指标之间关系,比如某个衍生指标是有哪些基础指标通过什么计算公式计算得到,这个关系很重要,这是做智能异动分析的基础,可以实现很多自动化的异常数据监控和分析能力
指标地图主要维护了指标和数据的物理存储的关联关系,通过地图我们可以轻松到找到哪些维度指标存储到了哪些物理存储里面
建模工具来帮助数仓和数据集市规范的落地,如果没有工具协助,我们制定再好的仓库分层方案,仓库建模方案都是徒劳的,经过长期的累计和人员流动,非常容易导致规范落地不标准,导致数据不一致等一系列问题
开发工具主要协助RD对ETL代码管理,如果还是通过原始命令+sql文件方式来管理ETL,那开发效率会很低,而且对依赖关系和调度的管理也是问题,开发工具会贯穿几乎开发的全流程,来加速开发
数据运维
DQC,数据质量监控,提供日常数据质量监控能力,是保证数据一致性的基础,DQC一般提供的基础的质量监控,比如基础的同环比阈值监控,条数监控,空数据监控,均值监控等
SLA,数据按时生产的参考标准,etl任务健康度评估的重要指标,保证数据按时交付,确定etl任务的优化目标
异动分析,为业务提供自动化的数据波动分析能力,帮助业务人员定位异常根源,快速调整业务决策
资产管理,数据中台的核心资源就是数据,数据以资产形式管理起来,可以是我们精确的知道我们拥有数据的情况,以方便对数据资源的管理
生命周期管理,数据都有时效性,随着时间推移,需要对数据进行生命周期管理,做合理的清理,属于数据治理的子模块
赋能对象
赋能管理者
赋能管理者,大盘类,大屏类产品,提供综合的,上层的业务视角的数据,来为管理者提供管理决策需要的基础数据
提升一点,可以配合业务经验和AI,来提供辅助决策意见,辅助管理者做决策
赋能业务运营
赋能业务运营,报表类,自助分析类产品,提供了比支持管理者产品更细粒度的数据,可以渗透到业务细节中,为底层运营决策提供精准的数据支持能力
赋能业务中台
赋能业务中台,没有数据的赋能,业务中台也还是偏向于业务公共服务的抽象,只有数据中台的赋能,才能使业务系统是一个智能化的业务系统
比如像"千人千面"的推荐系统
赋能数据变现
赋能数据变现,精准营销的广告系统,为广告带来更高的流水
赋能合作伙伴
赋能合作伙伴,强大的数据服务能力,可以为合作伙伴提供正确的决策方向,达到共赢的状态
————————————————
版权声明:本文为CSDN博主「rolin-刘瑞」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/u010670689/article/details/103536787
您需要登录后才可以回帖 登录 | 注册

本版积分规则

小黑屋|手机版|Archiver|boway Inc. ( 冀ICP备10011147号 )

GMT+8, 2024-3-28 22:31 , Processed in 0.607876 second(s), 16 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表