叶风讲的虽然浅显易懂,但确实精彩万分。
“数据处理,必须经过这几个步骤,完成之后才会有智慧。”
此时台前的叶风,像极了传教老师。
下面的众人,像极了专心听弟子。
“第一个步骤是数据收集。这里有两个方式,第一个方式是拿,专业点的说法叫抓取或者爬取,例如万象搜索就是这么做的,它把网上的所有的信息都下载到它的数据中心,然后你一搜才能搜出来。比如你去搜索的时候,结果会是一个列表,这个列表为什么会在搜索引擎的公司里面呢,就是因为他把这个数据啊都拿下来了,但是你一点链接,点出来这个网站就不在搜索引擎它们公司了。”
“比如说网易有个新闻,你拿万象搜出来,你不点的时候,那一页在万象数据中心,一点出来的网页就是在网易的数据中心了。另外一个方式就是推送,有很多终端可以帮我们收集数据,比如说华风智能手机上面的健康管理应用,可以将你每天跑步的数据、心跳的数据、睡眠的数据都上传到数据中心里面。”
“第二个步骤是数据传输。一般会通过队列方式进行,因为数据量实在是太大了,数据必须经过处理才会有用,可是系统处理不过来,只好排好队,慢慢的处理。”
“第三个步骤是数据存储。现在数据就是金钱,掌握了数据就相当于掌握了钱。要不然别人怎么知道你想买什么呢?就是因为它有你历史的交易的数据,这个信息可不能给别人,十分宝贵,所以需要存储下来。”
“第四个步骤是数据分析。刚才说的存储数据是原始数据,原始数据多是杂乱无章的,有很多垃圾数据在里面,因而需要清洗和过滤,得到一些高质量的数据。对于高质量的数据,就可以进行分析,从而对数据进行分类,或者发现数据之间的相互关系,得到知识。”
“比如90年代盛传的沃尔玛超市啤酒和尿布的故事。”
叶风刚刚举了一个例子,还没说完,大家就会心笑起来。
在坐的各位,都是精英,基本上都听过这个故事。
尤其是红旗大卖场的总裁曹世茹,她知道在美国有一个有趣的现象:尿布和啤酒赫然摆在一起出售。但是这个奇怪的举措却使尿布和啤酒的销量双双增加了。这不是一个笑话,而是发生在美国沃尔玛连锁店超市的真实案例,并一直为她津津乐道,常常用来教育下面的员工。
沃尔玛拥有世界上最大的数据仓库系统,为了能够准确了解顾客在其门店的购买习惯,沃尔玛对其顾客的购物行为进行购物篮分析,想知道顾客经常一起购买的商品有哪些。沃尔玛数据仓库里集中了其各门店的详细原始交易数据。在这些原始交易数据的基础上,沃尔玛利用数据挖掘方法对这些数据进行分析和挖掘。
一个意外的发现是:“跟尿布一起购买最多的商品竟是啤酒!经过大量实际调查和分析,揭示了一个隐藏在“尿布与啤酒“背后的美国人的一种行为模式:在美国,一些年轻的父亲下班后经常要到超市去买婴儿尿布,而他们中有30%~40%的人同时也为自己买一些啤酒。产生这一现象的原因是:美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布,而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。
叶风笑道:“即然大家都知道,我就不多说了,这就是通过对购买数据进行分析,发现男人一般买尿布的时候,会同时购买啤酒,这样就发现了啤酒和尿布之间的相互关系,获得知识,然后应用到实践中,将啤酒和尿布的柜台弄的很近,就获得了智慧,让啤酒和尿布销量双双大增。”
“第五个步骤就是对于数据检索和挖掘。检索就是搜索,分析后的数据放入搜索引擎,从而人们想寻找信息的时候,一搜就有了。另外就是挖掘,仅仅搜索出来已经不能满足人们的要求了,还需要从信息中挖掘出相互的关系。比如财经搜索,当搜索某个公司股票的时候,该公司的高管是不是也应该被挖掘出来呢?如果仅仅搜索出这个公司的股票发现涨的特别好,于是你就去买了,其实其高管发了一个声明,对股票十分不利,第二天就跌了,这不坑害广大股民么?所以通过各种算法挖掘数据中的关系,形成知识库,十分重要。”
听叶风说得很有逻辑性,众人都点头连连。
这时,又听叶风讲到重点,说起云计算、大数据、人工智能的密切关系。
“当数据量很小的时候,很少的几台机器就能解决。慢慢的当数据量越来越大,最牛的服务器都解决不了问题的时候,就想怎么办呢?要聚合多台机器的力量,大家齐心协力一起把这个事搞定,众人拾柴火焰高。”
“所以说大数据平台,什么叫做大数据,说白了就是一台机器干不完,大家一起干。随着数据量越来越大,很多不大的公司都需要处理相当多的数据,这些小公司没有这么多机器可怎么办呢?”
“说到这里,大家想起云计算了吧。当想要干这些活的时候,需要好多好多的机器一块做,真的是想什么时候要,想要多少就要多少。在以后,一个小公司需要大数据平台的时候,不需要采购一千台机器,只要到晴风云平台上一点,这一千台机器都出来了,并且上面已经部署好了的大数据平台,只要把数据放进去算就可以了。”
“云计算需要大数据,大数据需要云计算,两个人就这样结合了。”
“虽说有了大数据,人的欲望总是这个不能够满足。虽说在大数据平台里面有搜索引擎这个东西,想要什么东西我一搜就出来了。但是也存在这样的情况,我想要的东西不会搜,表达不出来,搜索出来的又不是我想要的。例如音乐软件里面推荐一首歌,这首歌我没听过,当然不知道名字,也没法搜,但是软件推荐给我,我的确喜欢,这就是搜索做不到的事情。当人们使用这种应用的时候,会发现机器知道我想要什么,而不是说当我想要的时候,去机器里面搜索。这个机器真像我的朋友一样懂我,这就有点人工智能的意思了。”