A. 大数据时代分析变革即将来临
大数据时代分析变革即将来临
日前,Teradata首席分析官Bill Franks在北京与部分业内媒体记者举行了一次关于大数据分析的圆桌会议,在这次会议上,Bill Franks带来了他的新书《数据分析变革》,并就大数据分析的最新发展趋势发表了精辟见解。
Bill Franks表示,经常会有人问这样的问题,大数据是不是存在泡沫,这种泡沫会不会破裂?比如,前段时间一个记者问我,说他们估计差不多一年半之后,大数据泡沫就会破裂。他当时问我大数据是否有泡沫的时候,我的答案是这样的,从某种方式来说是有泡沫,从另一种方式来说没有泡沫。
为什么说有泡沫呢?确实现在市场上有一些过多的炒作,认为通过大数据能够获得所需要的一切。如果不能实现这些目标,有可能标志着大数据泡沫会破裂。如果不是泡沫的话,再过多少年之后进行回顾,会觉得当时对大数据的看法是非常滑稽的。
我们所经历的真正的互联网泡沫,是大家非常熟悉的,从1999年到2000年。当时并不是说互联网本身缺少价值,而是认为这种价值的获得太容易、太快速,所以造成了当时的泡沫。但是看一下目前的情况,互联网已经深入到社会的方方面面,给人们的工作、生活带来了非常深远的影响。目前,大数据也是这种情况,现在大数据的发展非常艰难,人们有各种各样的说法。如果再过五年或者十年,我们会看到大数据可以带来非常好的影响。过去大数据都是在企业里面,各个领域都有大数据。前几年,Teradata提出企业级数据仓库,就是如何把这些数据源整合在一起,来挖掘企业内部的数据价值。
Franks说,我们要避免重蹈覆辙,目前看到在企业里有很多单独的大数据部门,大数据分散在各个地方,这些数据也由不同的人员加以管理。我们应该避免过去传统数据管理问题,要把数据都统一集中在一起。我们会提供相关的工具、技术、专业服务,帮助客户更多地挖掘数据价值。我们能够帮助挖掘客户的业务问题所在,给他们找到具体方法,能够提供具体的工具和技术,更大地发挥大数据的作用。一方面我们能够在前端帮助客户发现数据的价值,另一方面在后台也能进行跟踪,给它进行量化,发现数据价值所在。
Bill Franks认为,我们现在面对着数据分析的变革,通过一种“手工定制”的办法,针对企业具体的问题,做一些大数据的分析,给他们提供定制化的解决方案。这里涉及高价值的问题或者低价值的问题,一般都要探索哪些是属于高价值的问题,需要有一些定制的或者深层的分析。对于那些低价值的问题,可以部署一些业务流程等进行解决。企业可以在技术、业务流程里,嵌入一些解决方案的数据分析,能够自动实施,不需要太多的人工参与就能实现。
谈到电信领域的高级分析,Bill Franks说,从电信商运营的角度来说,也需要大量的高级分析,比如一些无线的基站和铁塔,什么时候会出现问题。包括一些网络上传送的速率情况,都传输什么内容,是电子邮件还是什么?这些分析与传统的分析是不一样的。传统的分析是这个电话是谁打给谁的,而现在的分析更多一些,包括基础设施、网络、基站等,很多环节都需要这样的高级分析。
以上是小编为大家分享的关于大数据时代分析变革即将来临的相关内容,更多信息可以关注环球青藤分享更多干货
B. 当制造遇上大数据
当制造遇上大数据
大数据如今已经影响到企业生产制造、运营、管理的方方面面,本文从客户管理、优化生产以及供应链管理三方面窥探大数据的无限可能。
小调查:大数据如何改造制造业?
由汤姆·克鲁斯主演、斯皮尔伯格导演的影片《少数派报告》描述了在2054年,利用科技读取“先知”脑波的画面来侦察出人的犯罪企图,从而准确预测犯罪行为,并在罪犯犯罪之前就能将其逮捕的场景。片中的“先知”是拥有超能力的“人类”,但在现实世界中,“先知”就是近年来我们经常提及的—大数据分析。专注于大数据分析的全球性软件公司Teradata(天睿公司)国际集团总裁赫尔曼·威摩(HermannWimmer)认为大数据主要包含三大块:一是传统的数据,例如企业原来的交易系统、网络系统以及ERP系统等数据仓库;二是传感器生成的数据;三是社交媒体上的数据。
“现在越来越多的行业都要适应大数据的趋势,不仅限于原来的高科技、互联网企业,现在包括通讯、金融、制造、能源等行业都在顺应趋势培养这方面的竞争力。”Hermann Wimmer 说,“用数据来驱动业务增长”是未来的方向。“例如,市场部门如何利用真实的数据来帮助制定市场成长策略;怎样提升客户体验或者客户满意度;怎样通过降低仓储、物流的运营成本等让企业运营得更智慧、更有效率;怎样结合生产部门和其他部门的数据优化生产和运营能力,这些都是大数据的‘用武之地’。”Teradata( 天睿公司) 大中华区首席执行官辛儿伦(AaronHsin) 举例道。
对于传统制造业来说,大数据能在哪些方面进行“颠覆”和“改进”?麦肯锡咨询公司在近日发布的《如何利用大数据改进制造业》的报告中列举了10 条大数据颠覆制造过程的路径,涉及优化生产进度;提高制造绩效;精确供应商管理;追踪产品质量,改进工作流程;以销定产,制定生产计划;量化产能,追踪设备运转效率;以及提供生产设备预防性维护建议等方面。
可以说,大数据影响到生产制造、运营、管理的方方面面,而从目前大数据在制造业的应用范围来看,我们想从客户关系管理(CRM)、优化生产以及供应链管理三方面窥探大数据的无限可能。
“大海捞针”成为可能
在当今经济环境中,良好的客户服务和客户体验至关重要。越来越多的企业通过挖掘客户|数据提升客户关系,了解客户需求。今天的CRM 数据分析能力已经不止局限于客户邮件、电话等数据,而是能够识别客户购买行为,了解客户情绪。辛儿伦切身感受到数据分析在客户管理方面应用的变化趋势:“过去更多是在数据仓库针对客户关系的管理和体验,特别是对客户|数据和CRM数据进行分析和探索促进营销增长的途径和手段。随着技术和数据架构的演进,现在的数据已经延伸到很多范围,比如位置数据、基站数据、还有通话记录和移动互联网上的消费者行为等。利用这些来自多渠道的数据建立分析模型,以便从360 度去观察客户的兴趣、爱好,并预测未来的行为,从而制定个性化的营销策略。”
发生在海尔的一个营销故事可以从这方面揭示大数据的“神奇”。2012 年,海尔推出帝樽空调,如何精准地预测有哪些用户可能选购帝樽空调?如何送去个性化的服务方案?海尔从SCRM 会员数据库中提取了数万名用户数据,与中国邮政的名址数据库匹配,建立“look-alike”模型。此外,海尔SCRM会员平台还同旅游、健康类杂志有合作。海尔通过查询订阅名|录,发现北京一小区有人订阅旅游杂志,其中有位陈先生。海尔得出“他对环境、自然应该感兴趣”的结论,于是推测,他极有可能对帝樽空调除PM2.5功能感兴趣。接着,陈收到了海尔投递的一封直邮单页,除了公益环保知识外,重点介绍了帝樽空调的除PM2.5 功能。接下来的故事就水到渠成了,陈带着直邮单页,到附近的商超购买了空调,并且还登录海尔官方网站,自主注册成为海尔会员。
从这个案例可以看出,在客户管理方面,企业营销的对象不仅是一群人、一类人,而是具体的某个人。其次,跨领域数据的整合也很重要,当然企业应当首先明确需要哪些领域的数据和如何获取这些数据。Hermann Wimmer 例举了两个行业之间的数据共享带来的商业价值—汽车行业和保险行业。“买车的人都要上保险,每一个司机由于自己的驾驶习惯不一样,保险公司对于他们的评估也是不一样的。如何才能更准确地评估一个司机到底属于高风险还是低风险驾驶习惯,就取决于他所开的车。通过车上所装载的100多个传感器传回的数据,可以了解他的驾驶习惯,然后判断他属于什么级别的风险类别。比如,他不超速、驾驶平稳,就属于低风险,反之,开的很快就属于高风险类别。”Hermann Wimmer 说,这两个行业密切的联系就是由传感器带来的数据连接起来的
数字化、智能化的生产过程
在传统的制造企业中,大量的数据分布于企业中的各个部门中,要想在整个企业内及时、快速提取这些数据存在一定的困难。譬如,企业资源规划系统(ERP) 数据、制造执行系统(EMS) 数据等分别位于各自的系统中,除此之外,在一些智能化的工厂里,设备、原材料等都被嵌入微型处理器、传感器,这些装置产生大量的数据。人们在将制造过程数字化的同时也为数据处理和分析提出了难题。如何将这些数据放置到一个技术处理平台上对于优化生产流程等有重要意义。Teradata( 天睿公司) 大中华区大数据事业部总监孔宇华指出,新的技术可以把人和人、物和物及事件之间的关联性找出来,但是前提是这种大数据分析是建立在一个统一、可以实现数据流通的平台上。这个可供访问的平台,能够整合不同系统内的数据。
最简单直接的方法就是创建产品生命周期管理(PLM) 平台,它也是一种企业管理软件,但好处在于可以充分整合来自研发、工程、生产部门的数据,对工业产品的生产进行虚拟模型化,优化生产流程,确保企业内的所有部门以相同的数据协同工作,从而提升组织的运营效率,缩短产品的研发与上市时间。西门子工业软件( 上海) 有限公司的高级业务顾问周克虎说:“拿汽车行业为例,汽车研发是个极其复杂的过程,一方面,它需要多个职能团队的通力合作。另一方面,所有这些团队还要处理大量的数据。为了避免沟通不力,确保生产过程的顺畅运行,工程团队不仅要管理团队内的数据,还必须时刻掌握生产部门的质量控制团队的工作进展。”
PLM 汇集从初稿到详细设计过程、再到实际生产的所有相关信息。因此,企业可以通过PLM 收集的此类数据来优化设计和生产过程。例如,奇瑞汽车利用PLM 平台, 将生产规划、模拟和实际生产,把制造和产品研发联系起来。例如,尺寸分析在车身设计中具有重要作用,奇瑞的研发人员利用PLM 工具进行尺寸分析,能够在设计的早期阶段就能确定设计结构和生产方法是否符合技术规范,以便及早制定解决方案来优化这些因素。同时利用这些模拟程序,还可以进行各种汽车安全性能的测试等。
举例, 西门子的PLM 软件平台上可以做的差异分析,它能在计算机生成的三维模型的辅助下模拟生产工艺,能够在执行实际生产之前洞察生产工艺中的薄弱点。奇瑞就曾利用它查出某车型头灯生产中的问题,为公司避免了十多万美元的损失。因为能够在虚拟的环境中模拟产品设计、生产流程,工厂规划效率得以提升,生产线生产效率也会提高。
大数据是制造业智能化的基础,进而实现大规模的定制。由于消费者人数众多,每个人需求不同,导致需求的具体信息也不同,加上需求不断变化,就构成了产品需求的大数据。制造业企业对这些数据进行处理,进而传递给智能设备,进行数据挖掘、设备调整、原材料准备等步骤,才能生产出符合个性化需求的定制产品。“未来的制造将是数据驱动的。”Hermann Wimmer 说。
高效、科学的供应链管理
大数据所具备的预测功能使得大数据在供应链管理上的作用大大提高。制造业从供应链渠道,以及生产现场的仪器或传感器网络收集了大量数据。利用大数据对这些数据库进行更紧密的整合与分析,可以帮助改善库存管理、销售与分销流程的效率,以及对设备的连续监控。大数据可以使供应链中的物流业变得更高效:卡车内的电子车载录像机可以提供卡车的位置;如何快速驱动传感器和射频标签等,帮助满载的卡车更有效地结合道路状况、交通信息和天气条件以及客户的位置,从而大大节省时间和费用。
孔宇华说,供应链上的大数据分析可以让企业科学地制定销售策略,而不是像过去那样靠经验和冒险。比如,一个生产羽绒服的品牌,在全国有几千家店,10万件货品如何分配到全国的各个店里。平均每个店1,000套?显然不够科学。因为南北方的供需市场不一样,北方需求大但竞争品牌也多;此外,不同地域里衣服的号码需求也不一样,南方人穿衣的号码就小一点,北方人则可能大一点。通过大数据分析,对历史数据、天气信息等做分析可以给企业合理的建议:哪些货运到哪里最合适,从而避免了积压或缺货的库存问题。
零售商在大数据的应用上处于领先地位。零售巨头沃尔玛开发了一个大数据工具,通过这个工具供应商可以事先知道每家店的卖货和库存情况,从而可以在沃尔玛发出指令前自行补货,极大地减少断货的情况和供应链整体的库存水平。在这个过程中,供应商还可以控制商品在店内的陈设,而沃尔玛也减少了这项的人力和资金投入,可谓双赢。因此,对于制造企业来说,借鉴这些经验优化供应链管理,从原料采购,到物流配送环节都非常有意义。根据大数据和相应的分析工具及时甚至事先选择合适的供应商和物料投入生产加工,并且到物流阶段可以选择合理的配送方案,以及销售策略。在大数据的支持下,一切都科学、合理,不仅提高了生产效率、服务质量,同时也降低了成本。
C. 全球最具影响力的大数据企业排行榜
全球最具影响力的大数据企业排行榜
目前全球大数据企业主要分为两大阵营。一部分属于单纯以大数据技术为核心的新兴企业,希望为市场带来创新方案并推动技术发展。另有一些原本打理数据库/数据仓储业务的老牌厂商,他们打算利用自身优势地位冲击大数据领域,将现有安装基础及产品线口碑推广到新一轮技术浪潮当中。下面我们就一起来看今天的十五家大数据企业名单,其中十家早已名满天下、另外五家则属初来乍到。
1、IBM
根据Wikibon发布的报告,作为2012年大数据业务营收成绩最好的公司,IBM过去一年从大数据相关产品及服务中获得了13亿美元收益。其具体产品包括服务器与存储硬件、数据库软件、分析应用程序以及相关服务等。在IBM围绕大数据开发出的产品中,DB2、Informix与InfoSphere数据库平台、Cognos与SPSS分析应用可谓最为知名。IBM同时也为Hadoop开源数据分析平台提供支持。
2、惠普
惠普在2012年获得的大数据营收名列第二,总值为6.64亿美元。这家供应商还提供与之相关的硬件、软件以及服务,其最为知名的方案当数Vertica分析平台。
3、Teradata
Teradata在2012年获得全球第三大大数据厂商头衔,其营收总额达4.35亿美元。Teradata凭借自家硬件平台、数据库以及分析软件而声名远播。它同时针对零售及运输行业推出了专门的分析工具。
4、甲骨文
尽管在大家眼中,甲骨文一直以其冠绝群雄的数据库产品闻名,但事实上他们也是大数据领域的主要竞逐者之一。其甲骨文大数据设备将英特尔服务器、Cloudera Hadoop发行版以及甲骨文的NoSQL数据库结合到了一起。2012年甲骨文名列大数据企业榜单第五位,营收总额为4.15亿美元。
5、SAP
SAP推出了一系列分析工具,但其中知名度最高的当数其HANA内存内数据库。2012年该公司在大数据企业竞争中位居第六,营收总额为3.68亿美元。
6、EMC
EMC一方面帮助客户保存并分析大数据,另外也充当着大数据分析智囊“营销科学实验室”的所在地——这家实验室专门分析营销类数据。EMC推出的最新爆炸性消息是与VMware及通用电气一道支持Pivotal公司。Pivotal将对Hadoop与EMC的Greenplum数据库与HAWQ查询工具进行整合。EMC在2012年的大数据企业排行榜中位列第七,营收总额为3.36亿美元。
7、Amazon
Amazon向来以企业云平台闻名于世,但同时也推出过一系列大数据产品,其中包括基于Hadoop的Elastic MapRece、DynamoDB大数据数据库以及能够与Amazon Web Services顺利协作的Redshift规模化并行数据仓储方案。
8、微软
微软的大数据发展战略可谓雄心勃勃,包括与Hortonworks建立合作关系、建立一家大数据新兴企业以及推出基于Hortonworks数据平台的HDInsights工具。微软的SQL Server数据库也颇具知名度,且于2012年的大数据企业比拼之中位列第九,营收总额为1.96亿美元。
9、谷歌
谷歌公司推出的大数据产品包括BigQuery——一款基于云的大数据分析平台。该公司在过去一年中拿下3600万美元大数据营收。
10、VMware
VMware向来以云计算及虚拟化解决方案著称,不过近来也开始逐步踏入大数据领域。今年六月虚拟巨头公布的VMware vSphere大数据扩展版就很说明问题,这套方案使得vSphere能够控制Hadoop部署并帮助企业用户简化大数据项目启动流程。VMware在过去一年中获得3200万美元大数据营收,几乎与谷歌公司持平。
11、业界新生代:Cloudera
相信目前已经没人敢在列举顶级大数据供应商时漏掉Cloudera。这家新兴企业获得1.41亿美元风险投资,支持阵营中甚至包括谷歌、Facebook、甲骨文以及雅虎等在大数据领域赫赫有名的老将。该公司于2008年首次为企业客户带来Apache Hadoop平台。
12、Hortonworks
Hortonworks是另一家Hadoop供应商,并在2011年从雅虎公司分离出来之后获得超过7000万美元的风险投资支持。它在发展中将矛头直指Cloudera,这位年轻选手背后则站着微软、Rackspace、红帽、Teradata等多家战略合作伙伴。
13、Splunk
根据WIkibon的统计,Splunk是目前纯大数据供应商中占据市场份额最大的企业,2012年全年营收总额达1.86亿美元。该公司主要关注机器数据分析业务。
14、10Gen
10Gen最具影响力的得意佳作要数其开源MongoDB——一款业界领先的NoSQL数据库。该公司的战略投资伙伴包括英特尔、红帽以及In-Q-Tel。10Gen去年在纯Hadoop及NoSQL业务企业中名列第三,营收总额为3600万美元。
15、MapR
大家想必听说过MapR推出的NoSQL数据库M7,这家公司与Amazon的云平台及谷歌计算引擎达成了协作关系。去年MapR在纯Hadoop与NoSQL业务企业中位列第四,营收总额为2300万美元。
以上是小编为大家分享的关于全球最具影响力的大数据企业排行榜的相关内容,更多信息可以关注环球青藤分享更多干货
D. 五年后,大数据会怎样改变我们的生活
五年后,大数据会怎样改变我们的生活
全球大数据和数据分析领导企业Teradata天睿公司(纽交所上市公司,2007年从母公司 NCR 公司剥离独立)每年举办一次全球用户大会(Teradata Partners),我们讨论大数据不过三五年的事情,但是这场业内规模最大的数据分析峰会已经开了30年了。你能想到想不到的最资深的行业、商业智能、数据仓库和大数据专家,而且全球大名鼎鼎的数据驱动型企业的用户代表也都在这儿了。
会议间隙,记者采访了Teradata天睿公司首席执行官兼总裁Mike Koehler、首席技术官Stephen Brobst,以及大中华区首席执行官辛儿伦(Aaron Hsin),他们从不同方面分享了大数据是怎样改变和即将改变我们的生活,尤其是商业生活。
记者:中国公司已经开始从大数据中获得立竿见影的商业收益吗?
辛儿伦:其实,不管是立竿见影,还是潜移默化,就像本届大会的主题Breaking Big所阐述的一样,我们要积极拥抱大数据,在应用中要“打破束缚和限制”,不管是企业还是个人应该探索和追求“创新、差异化、勇气、重大进展和卓越表现。”
所以,企业要在大数据上获得收益,就必须坚持创新和追求创新,不管在技术上寻找突破,还是从业务流程、组织架构、企业的分析文化上,都要进行积极的创新。在国内,有十多个行业的客户选择Teradata做了很多创新的项目,包含政府与公共服务、地铁、交通运输、航空、通信行业、银行、保险、证券、物流、快递行业、制造行业、汽车、零售、电子商务、电力能源等行业。
比如在国内的快递行业,我们帮助一家领先的快递公司建立其数据收集和分析系统,协助完善其业务流程。通过找到它们业务流程中的“跑冒滴漏”环节,将业务环节的各种数据,例如扫描数据、车队的运营数据等跨部门的数据整合起来,改善计费流程系统,实现关联分析等高级分析功能,杜绝了以前流失的收入。据这家快递公司测算,在项目结束的第一年,如果假设部署Teradata解决方案和服务的费用为1块钱,那客户由此带来的收益就达到80块钱,这就是非常显著的改变。
在保险行业,大部分保险公司都以为客户会在周末查询有关保险的相关信息,所以投放网络广告都选择周末时段。其实,通过我们的大数据分析证明,其实应该是周一!就是大家最忙的工作日的第一天。所以,通过大数据分析,将广告资源投放在适合的时间、适合的人群就是帮助企业获得真正的受益。
针对营销方面,我们经常会接到各种“骚扰”的推销电话,其实这就是在不正确的时间、不正确的地点、用不正确的方式来提供给不恰当的人。企业应该基于客户的数据分析,用更加智能的方式来服务,我认为这种不精确的服务应该会越来越少。
其实,不管是已经在驾驭大数据中受益的企业,还是那些刚刚开始征程的组织,很多企业曾经面对大数据项目的投资时都出现过犹豫、徘徊。当然,这就需要更大的勇气支持。Teradata以及广大客户的调查已经看到,我们是时候积极行动了。我们也理解,文化上的转变可能比技术和分析流程上的转变历时更久,但是我们一直强调,大数据从小做起,相信企业也能很快看到大数据的价值,看到数据分析在商业变革中带来的不可替代的驱动力。
记者:大数据在技术层面的发展已经有了很大的突破,到底有哪些因素影响到大数据的技术进步真正投入到应用当中去?
Stephen Brobst:人们只是假装热爱技术进步,哈哈!实际上,人类希望看到的是一步步的改变,而不是翻天覆地的变化。
比如,像无人驾驶汽车技术早已存在,但是,现在直接让大众接受无人驾驶还是困难的,改变将会是循序渐进的。现在的汽车已经实现了自动泊车功能,这就是迈出了无人驾驶的第一步。无人驾驶更多是因为法规、监管、保险公司、律师之间存在的问题,现在还没有很快大规模应用。
另外,尽管人的生命非常珍贵,但你的汽车上的传感器数量比人身上的可穿戴传感器多的多。通过佩戴传感器,大数据可以提供很多健康方面的数据分析。例如根据你个人的基因状况,提供个性化的药物和治疗方案。这也是未来的一个发展趋势。但是很多人害怕,因为个人隐私的原因,不希望把自己的基因组数据放在大数据库里面。
在大数据领域,目前发展非常迅速而且想象前景最为丰富可能是物联网数据。Teradata公司认为大数据分析的未来图景就是“万物皆可分析”(Analytics of Everything)。此外,在Gartner公司的分析预测中,发布了2016 年可能影响企业的十大技术趋势,其中万物信息化以及物联网等技术入选。
其实,这些预测正是技术发展现实的写照。实现万物皆联网或者万物皆可分析,最主要的是靠传感器技术。在我们目前生活的时代,传感器技术结合大规模并行处理能力,使我们能够测量并整体分析几乎所有现象。先进的仪器使我们能够跟踪万物的变化,例如天气变化模式、汽车驾驶习惯、乃至快餐店冰箱的温度、医院里(或家里)病人的生命体征。将这些数据采集至数据库,并运用广泛的统计、分析及可视化工具对这些数据进行细致的分析。
正是由于这些传感器,我们的生活、工作中产生了新的数据源。例如,通过射频识别读取器,我们能够进行零售库存跟踪与控制、医疗测试采样跟踪、预防欺诈行为等;通过GPS定位跟踪器,能够进行车队管理和交通运输和货运管理;通过数据采集传感器,我们就能在制造业、环境保护、交通运输系统中采集到实时的数据用于分析。
但是,物联网之所以没有快速发展起来主要有三个原因:第一,我们还需要更加廉价的传感器。第二,物联网需要一个统一的标准,这点非常关键。例如,针对物联网数据的分析,我们发布了Teradata Listener软件,就是为了解决数据规格和实时分析的难度。第三,安全因素。物和物之间的联网涉及安全,如果有不良数据传送,比如说飞机、汽车、油泵等被黑掉就会造成事故,必须慎重。
记者:在您看来,五年之后大数据会让我们的日常生活发生哪些改变?
Mike Koehler:根据IDC最新的报告,全球联网设备的数量在2014年是103亿,发展到2020年将会增长到295亿。这将带来社会和人类生活的巨大变化。我们不会像分析师一样去预测未来,但是可以分享几个大数据应用的非常实在的例子。
未来五年,虽然有很多东西已经实现了互联,但是将还有更多的物品被连接到一起,导致新的大数据源不断涌现,同时带来新的洞察和前所未有的机遇。例如,在农业领域,大数据可以帮助葡萄酒庄酒庄,让他们自动控制给葡萄浇水、施肥的时间,甚至进行针对性的管理。
我们的每架飞机、每列火车和地铁、每辆车辆、甚至骑行的自行车等,都能够通过传感器实现互联,我们可以实时地了解到知道它们潜在的问题在哪里,解决方案是什么,怎样去进行维修等。
对当前和未来发展,大家虽然都认识到大数据的价值或者带来的改变,但是我更要强调大数据分析的价值!在一定程度上说,只是拥有数据并不能成为企业真正的竞争力,只拥有数据并不能给你的日常生活带来太多便利。Teradata公司的客户,美国全国保险公司客户管理副总裁Kathy Koontz 女士指出:"重要的不是数据,而是如何使用数据。企业必须改变它们的经营方式,学会从数据中洞察事实并做出反应,否则数据整理得再有条理,也没什么价值。"
通用电气公司首席执行官Jeff Immelt曾说,“今天,数据分析时代已经来临,数据分析不再是未来愿景。每家实业公司都将围绕数据与分析技术以某种方式进行变革。”所以,我们可以看出,数据和分析正在彻底改变各个行业,彻底改变消费者,并带来新的竞争对手,但更重要的是,数据和数据分析使得我们的社会开始了前所未有的转型。
E. oracle和teradata对比
待遇的话要看你做什么领域,做到什么位置。。。Oracle公司可不止数据库,BI,DW也都有。Teradata是一家硬件和数据咨询服务公司,有一套完善的数据仓库方法论,很多国内外大型的商业银行都在用它的DW模型。请找准自己的方向,单纯比较哪个公司更强没意义。
F. teradata与华为Gauss的差异
同属华为高斯数据库。
Teradata可连接到通道连接的系统,如主机或网络连接的系统。AI原生数据库是Gauss的主要特点之一。华为将AI引擎内置到GaussDB全系产品中,使其具备一定的自运维、自管理、自调优、故障自诊断和自愈的能力。
Teradata是比较比较受欢迎的数据库管理系统,定位就是大数据仓库系统,定位比较高,主要应用于数据存储和数据处理,处理速度比Hive要高10倍左右。华为的Gauss数据库是一个开源数据库,基于PostgreSQL9.2开发。我们知道PostgreSQL本身就是一个开源数据库品牌。现在除了OracleDB、微软的SQLServer等传统老牌数据产品之外,目前新开发的数据库产品,开源数据库占比较大的部分。
G. 大数据分析的未来图景 万物皆可分析
大数据分析的未来图景:万物皆可分析
在云计算、大数据之后物联网成为新晋热点话题,物联网改变了我们看待世界的方法,改变了我们做业务的方法,甚至改变我们的生活方式。但是即使是最精通技术的企业也承认,从物联网生成的数据中获取价值非常困难,需要大量技巧。
Teradata认为的数据分析未来图景是“万物皆可分析”,所以在本次大会上也发布了Teradata Listener,其是一款具有实时“听取”功能的自助式智能软件,对客户而言可跟踪他们世界各地存放的多条传感器和物联网数据流,并将该数据传送到分析生态系统中的多个平台,使得我们能够在数据源的发生地就可以进行分析。
Teradata天睿公司大中华区首席执行官辛儿伦
同时Teradata也强调,在建设数据分析系统中,要避免数据孤岛。由于单一技术无法解决全面数据分析的需求,必须简化各种技术难度,创建统一生态数据管理系统。简化是非常重要的需求,任何数据分析系统都要使得架构简化。所以,在本次大会上,Teradata还更新了其统一数据架构(UDA),推出了在单一机箱内整合Teradata数据仓库、Teradata Aster Analytics和Hadoop系统,使用户能够在更小的数据中心空间内发挥整个分析生态系统管理的优势。
在本次大会上,ZDNet采访了Teradata天睿公司大中华区首席执行官辛儿伦,以下为访谈实录:
ZDNet:2015年的大会以Breaking Big为主题,请问其寓意是什么?这是否代表Teradata对于大数据认知在概念上的颠覆?
辛儿伦:Breaking Big这个主题,我理解最核心的应该是“打破束缚和限制”,不管是企业还是个人应该探索和追求“创新、差异化、勇气、重大进展和卓越表现。”
第一,在大数据时代,企业必须坚持创新和追求创新,不管技术上寻找突破,还是从业务流程、商业模式、组织架构、企业的分析文化上,都可进行积极的创新。例如,去年我们刚刚收购的Think Big公司,帮助我们增强对Hadoop的咨询、顾问和实施能力, 以及与其它分析平台的交互能力。在本次大会上,我们刚宣布Think Big成为业内首个能够为Hadoop数据湖(数据资源池)提供全面的管理服务,这将帮助企业非常便利地创建数据分析的生态系统,确保数据质量、可靠性、实时性以及日常的运营任务。
我强调一下,我们的Think Big公司支持主要的Apache? Hadoop?,包括Cloudera、Hortonworks、MapR、Spark、Kafka、NoSQL以及其他开源技术,非常全面。而且更重要的是,我这里也是首次宣布,我们的Think Big业务已经确定引入到大中华区,目前已经在完成人员的配备。
第二,我觉得企业中在数据分析上的务实和积极进取的文化非常重要。其中,这个主题中提到“勇气”是企业实现大数据项目成功的重要保证。很多的企业,曾经面对大数据项目的投资犹豫、徘徊,其实这就需要更大的勇气支持。Teradata以及广大客户的反馈已经看到,我们是时候积极行动了。我们也理解,文化上的转变可能比技术和分析流程上的转变历时更久,但是我们一直强调,大数据从小做起,相信你也能很快看到大数据的价值,看到大数据分析在商业变革中带来的不可替代的驱动力。
ZDNet:每年的全球用户大会,Teradata都会发布业界注目的新产品。今年发布的产品中,您认为哪些是最具亮点的?
辛儿伦:今年,我们在大数据技术、开源技术的支持以及咨询服务上都有重要的更新和发布。这里,我特别强调一下,本次大会上最亮点的应该是针对物联网的传感器数据的分析能力,甚至实现了万物皆可分析(Analytics of Everything)。Teradata Listener技术能够通过整合开源技术,帮助客户分析物联网中不计其数的数据源,简化数据分析的难度。Teradata QueryGrid技术能在统一数据架构上快速有效地进行主题分析或查询多元化的大数据,以取得业务需要的信息。
同时,Teradata Aster新的版本能直接交互Hadoop数据资源池或数据仓库平台,帮助客户进行实时的数据探索,例如高效营销中进行客户路径和消费模式分析,等等.
ZDNet:最近,Gartner发布了2016年可能影响企业的十大技术趋势,其中万物信息化以及物联网等技术入选。在目前发展出现这些趋势之时,您怎们看技术的发展趋势?如果时间放长远一点,据您观察未来5年甚至10年,那些技术可能会成为影响企业比较显著的技术趋势?
辛儿伦:我们看到这些十大技术趋势,这些都是战略性大趋势,其中包括Information of Everything(万物信息化)以及物联网架构和平台。其实,我认为这不仅是趋势,而是新的IT现实。
关于万物信息化,可以理解为我们身处在一个数字网格之中,这个环境会产生、使用其产生的无计其数的信息。在这些数据和信息的海洋中,不管是企业还是个人,必须学会判断和识别哪些信息能够带来战略性的价值,掌握如何访问这些不同的数据源,并通过各种分析方法和算法找出其中的业务价值。
其实,这些预测也是真实IT现实的写照。实现万物皆联网或者信息化,最主要之一靠传感器技术。在我们目前生活的时代,传感器技术结合大规模并行处理能力,使我们能够测量并整体分析几乎所有现象。先进的仪器使我们能够跟踪万物的变化,例如天气变化模式、汽车驾驶习惯、乃至快餐店冰箱的温度、医院里(或家里)病人的生命体征。将这些数据采集至数据库,并运用广泛的统计、分析及可视化工具对这些数据进行细致的分析。
正是由于这些传感器,我们的生活、工作中产生了新的数据源。例如,通过射频识别读取器,我们能够进行零售库存跟踪与控制、医疗测试采样跟踪、预防欺诈行为等;通过GPS定位跟踪器,能够进行车队管理和交通运输和货运管理;通过数据采集传感器,我们就能在制造业、环境保护、交通运输系统中采集到实时的数据用于分析。
例如,西门子公司就通过部署Teradata技术提升其制造流程及产品质量。西门子首次实现了整合来自传感器、制造流程、机器生成数据,以及各种源系统的数据。西门子技术领域商业分析及监测总监Michael May博士对此说:“现在,我们可以更快、更有效地获得数据中的价值。把大数据转换为智能数据,我们将能够优化产品质量,为客户提供更加优质的服务。”
关于物联网我提两点:《2014-2015年中国物联网发展年度报告》中指出,物联网技术与云计算、大数据、移动互联网等新兴一代信息技术的协同创新进一步深化,与农业、制造业、服务业等传统产业,与新能源、新材料、先进制造业等新兴产业的“双向融合”不断加强。物联网加快向经济、社会、生活众多领域渗透,不断催生新变革、新应用和新业态。这些都是非常可喜的发展成绩。现在快速发展的物联网,以及未来的“万物皆联网”,任何人、事、物之间将能实现连接,这将带来沟通模式的变化、业务模式的变化,甚至发展模式的变化。
但是,我们更要强调,要想让物联网发挥出价值,企业必须对传感器数据进行整合和分析,并把分析结果利用到生产流程中来,而由大数据驱动的物联网才是有价值的物联。
由于物联网数据都是非结构化数据,这种JSON数据的分析都非常复杂。在今年5月,我们就宣布首次在同一数据库实现三大JSON数据格式的原生存储,这将为客户提供更强的查询性能。通过对Teradata数据库升级,能够帮助业务用户充分利用网页应用、传感器和物联网机器生成JSON数据的商业价值。而Teradata数据库具备分析JSON数据、操作数据和历史业务数据的强大功能,而这一顶级查询性能使其成为物联网分析枢纽。此外,本次大会上发布的Teradata Listener是一款自助式智能软件,具有实时“听取”功能,可协助客户跟踪他们世界各地存放的多条传感器和物联网数据流,并将该数据传送到分析生态系统中的多个平台,这些都是巨大的技术突破。
针对未来更长时间的趋势预测,如果从更加宏观的角度看,我们先梳理一下整个IT 行业的发展,然后就能看到未来的发展趋势。过去从70或者80年代开始,对整个IT产业的关注,不管是产业给予的专注,还是IT供应商的专注,或是企业对于成立自己的IT部门的专注,更多的是一种小I大T的专注,什么叫小I大T?小的专注于Information能够体现的价值,而大量专注于运用用和研发Technology方面的议题。这就是小I大T,更多地认为IT就只是Technology这个课题,但是我们要注意IT不仅仅是Technology,IT是两个课题,是Information和Technology。
随着技术的发展,现在的技术能够承载的Information的价值度是迅速提升的,,未来更多的机会会更多在Information这个主题,延伸出来未来10年、20年、30年的前景。特别是未来这30年,这个时代将会是大I小T的时代,更多的主轴是在Information主题。,
ZDNet:从Teradata以及服务客户的经验看,如果让您建议一个企业要建立起自己的大数据战略,应该要去准备什么战略?
辛儿伦:首先建议客户要先问自身几个问题,那就是为什么要建立自己的大数据战略?是什么业务发展方向需要数据驱动型战略?。大数据战略要针对具体的业务场景,有了明确的业务场景目标,建设驾驭大数据的能力才有针对性性和使命感。
例如某企业要提升他的客户价值贡献度,希望建立起大数据战略,能够通过与客户的多种互动渠道的信息中获得洞察例如通过360度的统一客户视图等,在正确的时间、正确的地点、适当的方式,提供这位客户需要的服务或产品。又如金融机构通过建立起针对风险控制的大数据战略,能够发现和判断自己企业面对的风险以及危害程度,如担保圈分析等。如电信运营商可以通过建立针对客户服务品质优化的大数据战略,发现即将离网的用户等,提高自己的业务支持并挽留用户。
但是,在这里我要强调一点,数据驱动型战略不等同于数据收集战略,目前企业应尽量避免“存而不用”,建立大数据能力绝不是收集数据、存数据。
根据我们协助全球许多客户建设高效的大数据战略呢?,我想分享几个成功的关键:
第一,全面。企业需要采取宏观视角来识别构成高效体系的诸多不同要素,将不同的数据集(比如内部和外部数据流,或来自企业不同职能部门的信息)链接起来,通过关联分析,找出富有意义的信息。
第二,以业务为核心。针对大数据的战略规划应当以业务为导向,大数据战略并非科学项目,而是必须以满足实际的业务需求为核心。
第三,灵活。必须考虑到未来的使用情形,大数据战略和大数据分析方法论应避免常见的限制,比如过多地依赖于单一技术或单一平台模式或过于制式的流程等;由于数据驱动的转型不会一步到位或立刻传遍整个企业,因此在制定战略时,必须认识到价值是逐步创造出来的,并将整个演变过程考虑在内。
第四,有条理且可扩展。要确保大数据战略能够得到全面贯彻,而不是导致另一大群数据孤岛的产生。
第五,数据分析、科学决策。形成以分析为导向的思维方式,并培养真正的数据驱动文化。
以上是小编为大家分享的关于大数据分析的未来图景 万物皆可分析的相关内容,更多信息可以关注环球青藤分享更多干货
H. 什么是大数据时代
大数据时代
(巨量资料(IT行业术语))
编辑
最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。” “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注。
中文名
大数据时代
外文名
Big data
提出者
麦肯锡
类 属
科技名词
目录
1 产生背景
2 影响
▪ 大数据
▪ 大数据的精髓
▪ 数据价值
▪ 可视化
3 特征
4 案例分析
5 产业崛起
6 提供依据
7 应对措施
产生背景
编辑
进入2012年,大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数
大数据时代来临
据,并命名与之相关的技术发展与创新。它已经上过《纽约时报》《华尔街日报》的专栏封面,进入美国白宫官网的新闻,现身在国内一些互联网主题的讲座沙龙中,甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。[1]
数据正在迅速膨胀并变大,它决定着企业的未来发展,虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患,但是随着时间的推移,人们将越来越多的意识到数据对企业的重要性。
正如《纽约时报》2012年2月的一篇专栏中所称,“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。
哈佛大学社会学教授加里·金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”[2]
影响
编辑
大数据
现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流越来越密切,生活也越来越方便,大数据就是这个高科技时代的产物。[3]
随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapRece一样的框架来向数十、数百或甚至数千的电脑分配工作。[2]
在现今的社会,大数据的应用越来越彰显他的优势,它占领的领域也越来越大,电子商务、O2O、物流配送等,各种利用大数据进行发展的领域正在协助企业不断地发展新业务,创新运营模式。有了大数据这个概念,对于消费者行为的判断,产品销售量的预测,精确的营销范围以及存货的补给已经得到全面的改善与优化。[4]
“大数据”在互联网行业指的是这样一种现象:互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大,以至于不能用G或T来衡量。
大数据到底有多大?一组名为“互联网上一天”的数据告诉我们,一天之中,互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多(相当于美国两年的纸质信件数量);发出的社区帖子达200万个(相当于《时代》杂志770年的文字量);卖出的手机为37.8万台,高于全球每天出生的婴儿数量37.1万……[1]
截止到2012年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量为0.49ZB,2009年的数据量为0.8ZB,2010年增长为1.2ZB,2011年的数量更是高达1.82ZB,相当于全球每人产生200GB以上的数据。而到2012年为止,人类生产的所有印刷材料的数据量是200PB,全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了2020年,全世界所产生的数据规模将达到今天的44倍。[5] 每一天,全世界会上传超过5亿张图片,每分钟就有20小时时长的视频被分享。然而,即使是人们每天创造的全部信息——包括语音通话、电子邮件和信息在内的各种通信,以及上传的全部图片、视频与音乐,其信息量也无法匹及每一天所创造出的关于人们自身的数字信息量。
这样的趋势会持续下去。我们现在还处于所谓“物联网”的最初级阶段,而随着技术成熟,我们的设备、交通工具和迅速发展的“可穿戴”科技将能互相连接与沟通。科技的进步已经使创造、捕捉和管理信息的成本降至2005年的六分之一,而从2005年起,用在硬件、软件、人才及服务之上的商业投资也增长了整整50%,达到了4000亿美元。[5]
大数据的精髓
大数据带给我们的三个颠覆性观念转变:是全部数据,而不是随机采样;是大体方向,而不是精确制导;是相关关系,而不是因果关系。[6]
A.不是随机样本,而是全体数据:在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样(随机采样,以前我们通常把这看成是理所应当的限制,但高性能的数字技术让我们意识到,这其实是一种人为限制);
B.不是精确性,而是混杂性:研究数据如此之多,以至于我们不再热衷于追求精确度;之前需要分析的数据很少,所以我们必须尽可能精确地量化我们的记录,随着规模的扩大,对精确度的痴迷将减弱;拥有了大数据,我们不再需要对一个现象刨根问底,只要掌握了大体的发展方向即可,适当忽略微观层面上的精确度,会让我们在宏观层面拥有更好的洞察力;
C.不是因果关系,而是相关关系:我们不再热衷于找因果关系,寻找因果关系是人类长久以来的习惯,在大数据时代,我们无须再紧盯事物之间的因果关系,而应该寻找事物之间的相关关系;相关关系也许不能准确地告诉我们某件事情为何会发生,但是它会提醒我们这件事情正在发生。
数据价值
大数据时代,什么最贵?
十年前,葛大爷曾说过,“21世纪什么最贵?”——“人才”,深以为然。只是,十年后的今天,大数据时代也带来了身价不断翻番的各种数据。由于急速拓展的网络带宽以及各种穿戴设备所带来的大量数据,数据的增长从未停歇,甚至呈井喷式增长。[7]
一分钟内,微博推特上新发的数据量超过10万;社交网络“脸谱”的浏览量超过600万……
这些庞大数字,意味着什么?
它意味着,一种全新的致富手段也许就摆在面前,它的价值堪比石油和黄金。
事实上,当你仍然在把微博等社交平台当作抒情或者发议论的工具时,华尔街的敛财高手们却正在挖掘这些互联网的“数据财富”,先人一步用其预判市场走势,而且取得了不俗的收益。
让我们一起来看看——他们是怎么做的。
这些数据都能干啥。具体有六大价值:
●1、华尔街根据民众情绪抛售股票;
●2、对冲基金依据购物网站的顾客评论,分析企业产品销售状况;
●3、银行根据求职网站的岗位数量,推断就业率;
●4、投资机构搜集并分析上市企业声明,从中寻找破产的蛛丝马迹;
●5、美国疾病控制和预防中心依据网民搜索,分析全球范围内流感等病疫的传播状况;
●6、美国总统奥巴马的竞选团队依据选民的微博,实时分析选民对总统竞选人的喜好。[1]
可视化
“数据是新的石油。”亚马逊前任首席科学家Andreas Weigend说。Instagram以10亿美元出售之时,成立于1881年的世界最大影像产品及服务商柯达正申请破产。
大数据是如此重要,以至于其获取、储存、搜索、共享、分析,乃至可视化地呈现,都成为了当前重要的研究课题[1] 。
“当时时变幻的、海量的数据出现在眼前,是怎样一幅壮观的景象?在后台注视着这一切,会不会有接近上帝俯视人间星火的感觉?”
这个问题我曾请教过刘建国,中国著名的搜索引擎专家。刘曾主持开发过国内第一个大规模中英文搜索引擎系统“天网”。
要知道,刘建国曾任至网络的首席技术官,在这样一家每天需应对网民各种搜索请求1.7亿次(2013年约为8.77亿次)的网站中,如果只是在后台静静端坐,可能片刻都不能安心吧。网络果然在提供搜索服务之外,逐渐增添了网络指数,后又建立了基于网民搜索数据的重要产品“贴吧”及网络统计产品等。
刘建国没有直接回答这个问题,他想了很久,似乎陷入了回忆,嘴角的笑容含着诡秘。
倒是有公司已经在大数据中有接近上帝俯视的感觉,美国洛杉矶就有企业宣称,他们将全球夜景的历史数据建立模型,在过滤掉波动之后,做出了投资房地产和消费的研究报告。
在数据可视化呈现方面,我最新接收到的故事是,一位在美国思科物流部门工作的朋友,很聪明的印度裔小伙子,被Facebook高价挖角,进入其数据研究小组。他后来惊讶地发现,里面全是来自物流企业、供应链方面的技术人员和专家,“Facebook想知道,能不能用物流的角度和流程的方式,分析用户的路径和行为。”
特征
编辑
数据量大(Volume)
第一个特征是数据量大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。
类型繁多(Variety)
第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。
价值密度低(Value)
第三个特征是数据价值密度相对较低。如随着物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何通过强大的机器算法更迅速地完成数据的价值“提纯”,是大数据时代亟待解决的难题。
速度快、时效高(Velocity)
第四个特征是处理速度快,时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。
既有的技术架构和路线,已经无法高效处理如此海量的数据,而对于相关组织来说,如果投入巨大采集的信息无法通过及时处理反馈有效信息,那将是得不偿失的。可以说,大数据时代对人类的数据驾驭能力提出了新的挑战,也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。[2]
案例分析
编辑
个案一
你开心他就买你焦虑他就抛[2]
华尔街“德温特资本市场”公司首席执行官保罗·霍廷每天的工作之一,就是利用电脑程序分析全球3.4亿微博账户的留言,进而判断民众情绪,再以“1”到“50”进行打分。根据打分结果,霍廷再决定如何处理手中数以百万美元计的股票。
霍廷的判断原则很简单:如果所有人似乎都高兴,那就买入;如果大家的焦虑情绪上升,那就抛售。
这一招收效显著——当年第一季度,霍廷的公司获得了7%的收益率。
个案二
国际商用机器公司(IBM)估测,这些“数据”值钱的地方主要在于时效。对于片刻便能定输赢的华尔街,这一时效至关重要。曾经,华尔街2%的企业搜集微博等平台的“非正式”数据;如今,接近半数企业采用了这种手段。
●“社会流动”创业公司在“大数据”行业生机勃勃,和微博推特是合作伙伴。它分析数据,告诉广告商什么是正确的时间,谁是正确的用户,什么是应该发表的正确内容,备受广告商热爱。
●通过乔希·詹姆斯的Omniture(著名的网页流量分析工具)公司,你可以知道有多少人访问你的网站,以及他们呆了多长时间——这些数据对于任何企业来说都至关重要。詹姆斯把公司卖掉,进账18亿美元。
●微软专家吉拉德喜欢把这些“大数据”结果可视化:他把客户请到办公室,将包含这些公司的数据图谱展现出来——有些是普通的时间轴,有些像蒲公英,有些则是铺满整个画面的泡泡,泡泡中显示这些客户的粉丝正在谈论什么话题。
●“脸谱”数据分析师杰弗逊的工作就是搭建数据分析模型,弄清楚用户点击广告的动机和方式。
处理和分析工具
用于分析大数据的工具主要有开源与商用两个生态圈。
开源大数据生态圈:
1、Hadoop HDFS、HadoopMapRece, HBase、Hive 渐次诞生,早期Hadoop生态圈逐步形成。
2、. Hypertable是另类。它存在于Hadoop生态圈之外,但也曾经有一些用户。
3、NoSQL,membase、MongoDb
商用大数据生态圈:
1、一体机数据库/数据仓库:IBM PureData(Netezza), OracleExadata, SAP Hana等等。
2、数据仓库:TeradataAsterData, EMC GreenPlum, HPVertica 等等。
3、数据集市:QlikView、 Tableau 、 以及国内的Yonghong Data Mart 。
产业崛起
编辑
越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的资产,数据分析能力正在成为组织的核心竞争力。具体有以下三大案例:
1、2012年3月22日,奥巴马政府宣布投资2亿美元拉动大数据相关产业发展,将“大数据战略”上升为国家意志。奥巴马政府将数据定义为“未来的新石油”,并表示一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分,未来,对数据的占有和控制甚至将成为陆权、海权、空权之外的另一种国家核心资产。
2、联合国也在2012年发布了大数据政务白皮书,指出大数据对于联合国和各国政府来说是一个历史性的机遇,人们如今可以使用极为丰富的数据资源,来对社会经济进行前所未有的实时分析,帮助政府更好地响应社会和经济运行。
3、而最为积极的还是众多的IT企业。麦肯锡在一份名为《大数据,是下一轮创新、竞争和生产力的前沿》的专题研究报告中提出,“对于企业来说,海量数据的运用将成为未来竞争和增长的基础”,该报告在业界引起广泛反响。
IBM则提出,上一个十年,他们抛弃了PC,成功转向了软件和服务,而这次将远离服务与咨询,更多地专注于因大数据分析软件而带来的全新业务增长点。IBM执行总裁罗睿兰认为,“数据将成为一切行业当中决定胜负的根本因素,最终数据将成为人类至关重要的自然资源。”
在国内,网络已经致力于开发自己的大数据处理和存储系统;腾讯也提出2013年已经到了数据化运营的黄金时期,如何整合这些数据成为未来的关键任务。
事实上,自2009年以来,有关“大数据” 主题的并购案层出不穷,且并购数量和规模呈逐步上升的态势。其中,Oracle对Sun、惠普对Autonomy两大并购案总金额高达176亿美元,大数据的产业价值由此可见一斑。[1-2]
提供依据
编辑
大数据是信息通信技术发展积累至今,按照自身技术发展逻辑,从提高生产效率向更高级智能阶段的自然生长。无处不在的信息感知和采集终端为我们采集了海量的数据,而以云计算为代表的计算技术的不断进步,为我们提供了强大的计算能力,这就围绕个人以及组织的行为构建起了一个与物质世界相平行的数字世界[1-2] 。
大数据虽然孕育于信息通信技术的日渐普遍和成熟,但它对社会经济生活产生的影响绝不限于技术层面,更本质上,它是为我们看待世界提供了一种全新的方法,即决策行为将日益基于数据分析做出,而不是像过去更多凭借经验和直觉做出。
事实上,大数据的影响并不仅仅限于信息通信产业,而是正在“吞噬”和重构很多传统行业,广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中,数据分析的技术与手段更是得到广泛的应用,传统企业如沃尔玛通过数据挖掘重塑并优化供应链,新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析,为用户提供更加专业化和个性化的服务。
最让人吃惊的例子是,社交媒体监测平台DataSift监测了Facebook(脸谱) IPO当天Twitter上的情感倾向与Facebook股价波动的关联。在Facebook开盘前Twitter上的情感逐渐转向负面,25分钟之后Facebook的股价便开始下跌。而当Twitter上的情感转向正面时,Facebook股价在8分钟之后也开始了回弹。最终当股市接近收盘、Twitter上的情感转向负面时,10分钟后Facebook的股价又开始下跌。最终的结论是:Twitter上每一次情感倾向的转向都会影响Facebook股价的波动。
这仅仅只是基于社交网络产生的大数据“预见未来”的众多案例之一,此外还有谷歌通过网民搜索行为预测流感爆发等例子。不仅在商业方面,大数据在社会建设方面的作为同样令人惊叹,智能电网、智慧交通、智慧医疗、智慧环保、智慧城市等的蓬勃兴起,都与大数据技术与应用的发展息息相关。
“大数据”可能带来的巨大价值正渐渐被人们认可,它通过技术的创新与发展,以及数据的全面感知、收集、分析、共享,为人们提供了一种全新的看待世界的方法。更多地基于事实与数据做出决策,这样的思维方式,可以预见,将推动一些习惯于靠“差不多”运行的社会发生巨大变革。
应对措施
编辑
一个好的企业应该未雨绸缪,从现在开始就应该着手准备,为企业的后期的数据收集和分析做好准备,企业可以从下面六个方面着手,这样当面临铺天盖地的大数据的时候,以确保企业能够快速发展,具体为下面六点。
目标
几乎每个组织都可能有源源不断的数据需要收集,无论是社交网络还是车间传感器设备,而且每个组织都有大量的数据需要处理,IT人员需要了解自己企业运营过程中都产生了什么数据,以自己的数据为基准,确定数据的范围。
准则
虽然每个企业都会产生大量数据,而且互不相同、多种多样的,这就需要企业IT人员在现在开始收集确认什么数据是企业业务需要的,找到最能反映企业业务情况的数据。
重新评估
大数据需要在服务器和存储设施中进行收集,并且大多数的企业信息管理体系结构将会发生重要大变化,IT经理则需要准备扩大他们的系统,以解决数据的不断扩大,IT经理要了解公司现有IT设施的情况,以组建处理大数据的设施为导向,避免一些不必要的设备的购买。
重视大数据技术
大数据是最近几年才兴起的词语,而并不是所有的IT人员对大数据都非常了解,例如如今的Hadoop,MapRece,NoSQL等技术都是2013年刚兴起的技术,企业IT人员要多关注这方面的技术和工具,以确保将来能够面对大数据的时候做出正确的决定。
培训企业的员工
大多数企业最缺乏的是人才,而当大数据到临的时候,企业将会缺少这方面的采集收集分析方面的人才,对于一些公司,特别是那种人比较少的公司,工作人员面临大数据将是一种挑战,企业要在平时的时候多对员工进行这方面的培训,以确保在大数据到来时,员工也能适应相关的工作。
培养三种能力
Teradata大中华区首席执行官辛儿伦对新浪科技表示,随着大数据时代的到来,企业应该在内部培养三种能力。第一,整合企业数据的能力;第二,探索数据背后价值和制定精确行动纲领的能力;第三,进行精确快速实时行动的能力。
做到上面的几点,当大数据时代来临的时候,面临大量数据将不是束手无策,而是成竹在胸,而从数据中得到的好处也将促进企业快速发展。
望采纳,谢谢