您当前位置: 唯学网 » 用户增长师 » 用户增长师教育新闻 »

浅聊数据中台

浅聊数据中台

唯学网 • 教育培训

2022-12-21 17:52

唯学网 • 中国教育电子商务平台

加入收藏

数据中台,一个老生常谈的问题。关于数据中台的解读,公开的资料有很多,每个人似乎都有自己的理解。面对铺天盖地的各种名词,难免会让人有一种云山雾罩的感觉。本文将跳出数据中台来浅聊一下数据中台,抛却这些高大上的解读,回归本质。

首先,值得注意的是,数据中台依然是当下大数据领域最前沿的数据建设体系,数据中台是传统的数据仓库的一种升级,是数据采集、建设、管理与使用的一整套体系。由此可见,数据中台是一种数据建设体系,那要进行数据体系化建设,需要什么呢?组织、方法论和产品工具。所以,数据中台不是孤立的一个产品,也不是数据加工处理之后做几张报表那么简单。

数据不是为了存储,不是为了管理,更不是为了治理,而是为了服务,为了价值化。

为什么做数据中台

缘起

与其说为什么做数据中台,不如说为什么使用数据。数据在如今时代的重要性是不言而喻的,因为数据很重要,所以我们要使用数据监控业务的发展现状,助力业务决策,赋能业务增长。一般而言,对于一些小企业,其业务体量比较小,复杂度相对比较低,所以一些简单数据处理就可以满足日常对数据的使用。这里谈的数据中台,是针对于一些大型的数据化公司(互联网科技公司),其业务体量之大和复杂度之高,使得一些简单的数据处理难以满足数据使用的需求,由此就应运而生了很多数据处理的方法和工具。在实际的摸索实践中,又不断的沉淀升华,于是乎就有了一套标准和一些列可操作的SOP,这其中很多的环节都是数据仓库的范畴,为了有别于数据仓库,就起了一个数据中台来进行命名。所以,不需要纠结名字是什么,要搞懂其本质是什么。

事物的发展不是直线前进的,而是螺旋式上升的。所以,一定是在遇到问题并解决问题的过程中得以发展的。换句话说,新事物的出现是为了解决某些既定问题的。那在企业使用数据的过程中会遇到哪些问题呢?

数据标准问题

烟囱式开发及局部业务服务支撑,导致指标同名不同口径问题频发

数据质量问题

重复建设导致任务链冗长、任务繁多,计算资源紧张,数据时效性不好;口径梳理定义的文档沉淀到开发代码实现之间存在脱节,数据准确性保障风险高

需求响应问题

烟囱式开发周期长、效率低,导致业务响应速度慢

成本资源问题

烟囱式开发的重复建设浪费技术资源;上线难下线更难,源系统或业务变更不能及时反映到数据上,加之数据不标准,研发维护难上加难的同时,大量无用计算和存储造成资源浪费。

目标

面对如此多的问题,需要一套体系化的方法和工具产品来支撑,方可一一破解。由此引申出来,做数据中台要实现哪些目标,其实很简单:降本提效赋能业务提升。

业务提升

使用数据的目的是辅助业务增长的,所以最本质,最原始的诉求或者目标就是怎么让业务增长。

效率提升

这个效率包括两个方面,一方面是业务侧因为有了数据的辅助而提效,另一方面产研侧因为有了工具和方法论而提效。

降低成本

开源节流是亘古不变、颠扑不破的一条准则,任何事情都要有成本的考量,无论是对于业务还是产研,在节省成本的情况下能够不断带来业务增量才是一个可持续的发展。

怎么做数据中台

前面提到,数据中台是一整套体系,不是一个数据产品就能解决的事情。另外,无论对于数仓还是数据中台,能否做成功并发挥作用,也取决于组织的环境。如果一个组织的基因是根植在数据上的,那实践并推动起来就相对简单,如果一个组织并没有意识使用数据或者不需要那么复杂的数据场景,那么实现起来就会略显困难。数据建设不是喊口号、做PPT吹水。它是一项复杂工程,涉及到方方面面,不是一蹴而就的,是在实践中不断完善的。如果一个组织压根就没有数据基因,那结果只会是空中楼阁。

与其说怎么做数据中台,不如说怎么进行体系化的数据建设。这样理解起来就不是为了数据中台而数据中台。总结起来:

组织

方法论

产品工具

组织

组织是根本,皮之不存毛将焉附。一个组织对于数据的依赖程度和对数据的应用深度,是数据中台的根基。如果把数据中台理解成一个工具,那组织就是使用工具的人,换句话说,组织是让数据中台运转起来的载体。如果组织中的人对于数据的使用程度不高,数据中台也就是成了无源之水无本之木了,也就很难推进后续的事情,即便做成了,也不会有人使用,更不用说会发挥什么价值了。

所以,让使用数据成为大家的肌肉反应,是一个前置条件。当有了这个前置条件,就可以通过数据产品、数据应用,从而让组织中的人更好的理解和消费数据。

方法论

就像做开发一样,任何一套框架背后还是有一套基本的思想。构建数据中台也有一套理论来支撑它:数据中台的思想就是One Data方法论,由One Model、One ID、 One Service三个部分组成,包括数据标准规范、模型规范、数据研发规范、数据服务规范等一系列的建设标准外,还包括规范落地的相关工具去保障标准化、体系化的建设。

img

One Model:统一数据构建和管理

数据是客观的,只是存储在数据库一些表。关键是如何用数据表达、刻画和呈现对应的业务事实,这个背后需要有一套标准,这个标准叫One Model。零散的数据存放在数据库中,并不能直接拿来去使用的,需要加工处理之后才有业务意义。另外,现实中大家对于数据口径的定义和解读也是不一样的,比如什么是PV,UV,什么是活跃,这些问题都会造成数据之间的阻塞。所以,只有数据标准统一了,才能实现数据价值的最大化。

通俗来讲,One Mode是数据建模的标准,比如:

主题域建模:在数据中台, 主题对应一个宏观的分析领域,比如交易、流量、商品、用户等等。

维度建模:主题域的基础之上,有响应的维表和事实表。

One ID:统一数据萃取

One ID是数字化商业很重要的基础设施,为了能够更好的刻画用户,打通数据体系,通过ID Mapping 产生OneID,这一步之后我们的整个数据体系就将使用OneID作为用户的ID,这样我们整个数据体系才能得以打通。

OneService:统一数据服务

数据在一起不是为了统一,是为了Service。不提供服务的数据,就只有成本,也感觉不到数据的价值。数据存在并且放在一起而不加以应用,并不代表你有数据中台。

OneService核心是服务的复用,能力包括:

利用主题逻辑表屏蔽复杂物理表的主题式数据服务

一般查询+ OLAP 分析+在线服务的统一且多样化数据服务

屏蔽多种异构数据源的跨源数据服务

产品工具

有了方法论之后,还需要有一套工具产品来承接。如果只是大谈特谈方法论,而不去落地,那也很难将方法论延续、演进,所以方法论背后必须有一套工具。

数据采集

数据开发

数据质量管理

元数据管理

数据资产管理

数据服务

数据安全

可以看出,数据中台是一项很复杂的系统工程,涉及的工具产品有很多。当然,这些产品工具都有对应的云服务,这样开发人员就可以专注于数据和业务,从而提升研发的效率。对于自研工具的企业而言,一般也是围绕这些方面进行开发的,指的注意的是,工具只是手段,不是目的。数据不是为了存储,不是为了管理,更不是为了治理,而是为了服务,为了价值化。

总结

本文首先介绍了数据中台的起源,然后介绍了数据中台的目标,接着介绍了如何去建设数据中台,主要包括:组织、方法论和产品工具三个方面。希望本文对你有所帮助。

来源: 大数据技术与数仓

以上是关于用户增长师的相关信息,以供大家查看了解。想要了解更多用户增长师信息,第一时间了解用户增长师相关资讯,敬请关注唯学网用户增长师栏目,如有任何疑问也可在线留言,小编会为您在第一时间解答!

dag.png

0% (10)
0% (0)
已有条评论