DT时代的骨骼:大数据处理平台的衍变

家乡区县: 郑州市金水区

在数据处理需求急剧上升的今天,是什么在支撑着数据的变现?是的,正是数据处理平台,或者换种说法:一套完整的数据处理流程。

从数据的采集、清洗、流式实时计算、数据落地。在大多数时候,这一套完整的流程过后(或许会没有流式实时计算),这才真正进入数据的价值挖掘阶段,包括了数据的离线计算,通过一系列的建模挖掘其隐含的商业价值。

当然,在大数据遍地的今天,数据的收集也好、处理也好、挖掘也好,我们想必也要加一个“大”字了。那么,在DT时代来临的今天,能够支撑这一流程得以流通的正是数据平台,或者说是大数据处理平台,它将是支撑DT时代来临的骨骼!

当然,大数据处理平台也不是一开始存在的,它是在经历过一系列的衍变之后,才形成今天我们看到的,或这或那的数据平台形式。

就在不久前,我曾在storm-分布式-IT技术群中发起了一次近千人的话题讨论(当然,实际参与讨论的人远没有这么多,很大一部分人还是喜欢静静的围观的),其核心就是当前互联网公司中大数据平台发展的现状。

当时的讨论过程很剧烈,汇聚了各个企业公司的大牛小牛、程序猿、设计狮、产品狗,总之各种“动物”都有,众说纷纭,各有各的观点看法,但总体来说就目前几种大数据平台的形态,大家还是有比较一致的看法的。

1、大数据处理平台的终极形态:深度挖掘

数据已经完美流通,包括了完整的大规模数据采集系统、数据预处理清洗系统、数据流式实时计算系统、大规模数据存储系统、大规模离线计算系统;拥有全面的数据监控调度系统,能够方便地低成本地进行数据流程监控、调度,实时掌握数据的动态变化;拥有完善符合自身业务需求的机器学习算法库,数据挖掘层面,已经进入了数据深层挖掘阶段。

其中以BAT为代表。在国内,BAT一向是技术的引领者,因此他们在数据价值挖掘这一方面,也确实做到了领先地步。

2、其次是大数据平台完善,处于数据浅层挖掘状态

同样,这种形态的企业公司,数据平台的数据已经完全打通,他们已经在开始尝试挖掘数据的潜在价值,意图达成数据的变现。

当然,或许是由于技术积累的问题,或许是人力物力的原因,他们并没有能力做深一层的探索、挖掘,但是他们却一直在努力。他们缺少是一套完善的,适合自己的,又能够方便使用的数据挖掘库。

处于这种形态的公司也不少,诸如CSDN、去哪儿、艺龙等等,他们在个性化的道路上孜孜不倦地探索着。

3、数据流通,处于数据统计分析阶段

这种形态的数据中心,大规模数据处理平台已经基本搭建,数据已经能够流通,处于大规模数据的统计分析阶段。

这种类型的公司,他们更多倾向于对数据仓库的建立,对大批量数据进行存储、统计并且分析数据的走势以及变化。所以,就Hadoop生态来说,他们可能更倾向于使用Hive之类的技术或者工具。

处于这种形态的公司是占大多数的,典型如刚组建大数据部门的短短一年时间的360,当然还有很多很多类似的公司,数不胜数。他们希望摸清楚自己到底掌握了什么样的数据,这些数据到底是怎么变化的,通过对这些数据的了解以及掌控,他们才能更好做出更合理的商业决策。

在不久的将来,在他们已经充分掌握了数据的规律,他们也必然会向数据潜在价值挖掘方向努力。

4、数据整合,平台搭建阶段

这种形态下,数据尚未流通,整个体系尚未搭建起来。

或者说,很多企业公司,在以往的情况下,各个部门产品,其数据都是分开维护的。需要维护多份数据,成本高;数据的利用率低,数据不连通。

他们意图将数据进行整合,有一套完整的收集、清洗以及落地的流程,因此,他们尤其缺少懂得数据收集、数据清晰以及数据大规模落地的人才。或者,换个更通俗的说法,他们缺少懂得Hadoop生态平台的人。

这种公司也不少,诸如金山的西山居,智能手机界的黑马小米等。

5、数据量不够,但然仍意图搭建一个大数据处理平台

这一部分公司大部分都是小公司,在数据量层面上,他们并没有很急切的需求,去搭建起一套完善的数据处理平台。

或许是受大数据潮流影响,但是,从长远的角度来看,随着数据量的增长,这也必然是一个趋势。所以,他们往往也会花费少量的人力物力,在这一方面上进行技术预研,或者搭建起一个简单的小规模数据处理平台。

其实,简单来看,这是大数据处理平台的五种不同形态,但这又何尝不是大数据处理平台的一个衍变过程呢?!在DT时代来临的今天,你是否清楚自己处于一个什么的位置,将来又会向何处发展变迁?

只有将骨骼搭建起来了,我们才能、才有资格去谈论如何挖掘数据的潜在价值。我们不止需要骨骼来支撑DT这一体系,更需要源源不断的血液来激发它的活力。

下午5点的猫(2015-05-26) 评论(0


文章内容由网友提供,不代表本站观点

如果您喜欢这篇文章,就送梧桐子“”支持吧!

已获得0个“