A. 大数据的预测功能是增值服务的核心
大数据的预测功能是增值服务的核心
从走在大数据发展前沿的互联网新兴行业,到与人类生活息息相关的医疗保健、电力、通信等传统行业,大数据浪潮无时无刻不在改变着人们的生产和生活方式。大数据时代的到来,给国内外各行各业带来诸多的变革动力和巨大价值。
最新发布的报告称,全球大数据市场规模将在未来五年内迎来高达26%的年复合增长率——从今年的148.7亿美元增长到2018年的463.4亿美元。全球各大公司、企业和研究机构对大数据商业模式进行了广泛地探索和尝试,虽然仍旧有许多模式尚不明朗,但是也逐渐形成了一些成熟的商业模式。
两种存储模式为主
互联网上的每一个网页、每一张图片、每一封邮件,通信行业每一条短消息、每一通电话,电力行业每一户用电数据等等,这些足迹都以“数据”的形式被记录下来,并以几何量级的速度增长。这就是大数据时代带给我们最直观的冲击。
正因为数据量之大,数据多为非结构化,现有的诸多存储介质和系统极大地限制着大数据的挖掘和发展。为更好地解决大数据存储问题,国内外各大企业和研究机构做了许许多多的尝试和努力,并不断摸索其商业化前景,目前形成了如下两种比较成熟的商业模式:
可扩展的存储解决方案。该存储解决方案可帮助政府、企业对存储的内容进行分类和确定优先级,高效安全地存储到适当存储介质中。而以存储区域网络(SAN)、统一存储、文件整合/网络连接存储(NAS)的传统存储解决方案,无法提供和扩展处理大数据所需要的灵活性。而以Intel、Oracle、华为、中兴等为代表的新一代存储解决方案提供商提供的适用于大、中小企业级的全系存储解决方案,通过标准化IT基础架构、自动化流程和高扩展性,来满足大数据多种应用需求。
云存储。云存储是一个以数据存储和管理为核心的云计算系统,其结构模型一般由存储层、基础管理、应用接口和访问层四层组成。通过易于使用的API,方便用户将各种数据放到云存储里面,然后像使用水电一样按用量进行收费。用户不用关心数据的存储介质、网络状况以及安全性的管理,只需按需向提供方购买空间。
源数据价值水涨船高
在红红火火的大数据时代,随着数据的累积,数据本身的价值也在不断升值,这种情况很好地反应了事物由量变到质变的规律。例如有一种罕见的疾病,得病率为十万分之一,如果从小样本数据来看非常罕见,但是扩大到全世界70亿人,那么数量就非常庞大。以前技术落后,不能将该病情数字化集中研究,所以很难攻克。但是,我们现在把各种各样的数据案例搜集起来统一分析,我们很快就能攻克很多以前想象不到的科学难题。类似的例子,不胜枚举。
正是由于可以通过大数据挖掘到很多看不见的价值,源数据本身的价值也水涨船高。一些掌握海量有效数据的公司和企业找到了一条行之有效的商业路径:对源数据直接或者经过简单封装销售。在互联网领域,以Facebook、twitter、微博为代表的社交网站拥有大量的用户和用户关系数据,这些网站正尝试以各种方式对该源数据进行商业化销售,Google、Yahoo!、网络[微博]等搜索公司拥有大量的搜索轨迹数据以及网页数据,他们可以通过简单API提供给第三方并从中盈利;在传统行业中,中国联通[微博](3.44, 0.03, 0.88%)、中国电信[微博]等运营商拥有大量的底层用户资料,可以通过简单地去隐私化,然后进行销售盈利。
各大公司或者企业通过提供海量数据服务来支撑公司发展,同时以免费的服务补偿用户,这种成熟的商业模式经受住了时间的考验。但是对于任何用户数据的买卖,还需处理好用户隐私信息,通过去隐私化方式,来保护好用户隐私。
预测是增值服务的核心
在大数据基础上进行深度挖掘,所衍生出来的增值服务,是大数据领域最具想象空间的商业模式。大数据增值服务的核心是什么?预测!大数据引发了商业分析模式转变,从过去的样本模式到现在的全数据模式,从过去的小概率到现在的大概率,从而能够得到比以前更准确的预测。目前形成了如下几种比较成熟的商业模式。
个性化的精准营销。一提起“垃圾短信”,大家都很厌烦,这是因为本来在营销方看来是有价值的、“对”的信息,发到了“错”的用户手里。通过对用户的大量的行为数据进行详细分析,深度挖掘之后,能够实现给“对”的用户发送“对”的信息。比如大型商场可以对会员的购买记录进行深度分析,发掘用户和品牌之间的关联。然后,当某个品牌的忠实用户收到该品牌打折促销的短信之后,一定不是厌烦,而是欣喜。如优捷信达、中科嘉速等拥有强大数据处理技术的公司在数据挖掘、精准广告分析等方面拥有丰富的经验。
企业经营的决策指导。针对大量的用户数据,运用成熟的数据挖掘技术,分析得到企业运营的各种趋势,从而给企业的决策提供强有力的指导。例如,汽车销售公司,可以通过对网络上用户的大量评论进行分析,得到用户最关心和最不满意的功能,然后对自己的下一代产品进行有针对性的改进,以提升消费者的满意度。
总体来说,从宏观层面来看,大数据是我们未来社会的新能源;从企业微观层面来看,大数据分析和运用能力正成为企业的核心竞争力。深入研究和积极探索大数据的商业模式,对企业的未来发展有至关重要的意义。
B. 《大数据时代生活、工作与思维的大变革》pdf下载在线阅读,求百度网盘云资源
《大数据时代》([英] 维克托•迈尔•舍恩伯格(Viktor Mayer-Schönberger))电子书网盘下载免费在线阅读
资源链接:
链接:
书名:大数据时代
作者:[英] 维克托•迈尔•舍恩伯格(Viktor Mayer-Schönberger)
译者:周涛
豆瓣评分:7.5
出版社:浙江人民出版社
出版年份:2012-12
页数:261
内容简介:
《大数据时代》是国外大数据研究的先河之作,本书作者维克托•迈尔•舍恩伯格被誉为“大数据商业应用第一人”,拥有在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多个互联网研究重镇任教的经历,早在2010年就在《经济学人》上发布了长达14页对大数据应用的前瞻性研究。
维克托•迈尔•舍恩伯格在书中前瞻性地指出,大数据带来的信息风暴正在变革我们的生活、工作和思维,大数据开启了一次重大的时代转型,并用三个部分讲述了大数据时代的思维变革、商业变革和管理变革。
维克托最具洞见之处在于,他明确指出,大数据时代最大的转变就是,放弃对因果关系的渴求,而取而代之关注相关关系。也就是说只要知道“是什么”,而不需要知道“为什么”。这就颠覆了千百年来人类的思维惯例,对人类的认知和与世界交流的方式提出了全新的挑战。
本书认为大数据的核心就是预测。大数据将为人类的生活创造前所未有的可量化的维度。大数据已经成为了新发明和新服务的源泉,而更多的改变正蓄势待发。书中展示了谷歌、微软、亚马逊、IBM、苹果、facebook、twitter、VISA等大数据先锋们最具价值的应用案例。
作者简介:
他是十余年潜心研究数据科学的技术权威,他是最早洞见大数据时代发展趋势的数据科学家之一,也是最受人尊敬的权威发言人之一。他曾先后任教于世界最著名的几大互联网研究学府。现任牛津大学网络学院互联网治理与监管专业教授,曾任哈佛大学肯尼迪学院信息监管科研项目负责人,哈佛国家电子商务研究中网络监管项目负责人;曾任新加坡国立大学李光耀学院信息与创新策略研究中心主任。并担任耶鲁大学、芝加哥大学、弗吉尼亚大学、圣地亚哥大学、维也纳大学的客座教授。
他的学术成果斐然,有一百多篇论文公开发表在《科学》《自然》等著名学术期刊上,他同时也是哈佛大学出版社、麻省理工出版社、通信政策期刊、美国社会学期刊等多家出版机构的特约评论员。
他是备受众多世界知名企业信赖的信息权威与顾问。他的咨询客户包括微软、惠普和IBM等全球顶级企业;而他自己早在1986年与1995年就担任两家软件公司的总裁兼CEO,由他的公司开发的病毒通用程序,成为当时奥地利最畅销的软件产品。1991年跻身奥地利软件企业家前5名之列,2000年 被评为奥地利萨尔斯堡州的年度人物。
他也是众多机构和国家政府高层的信息政策智囊。他一直专注于信息安全与信息政策与战略的研究,是欧盟专家之一,也是世界经济论坛、马歇尔计划基金会等重要机构的咨询顾问,同时他以大数据的全球视野,熟悉亚洲信息产业的发展与战略布局,先后担任新加坡商务部高层、文莱国防部高层、科威特商务部高层、迪拜及中东政府高层的咨询顾问。
所著《大数据》一书是开国外大数据系统研究的先河之作,而在这之前,他已经在《经济学人》上和数据编辑肯尼斯.尼尔-库克耶一起,发表了长达14页的大数据专题文章,成为最早洞见大数据时代趋势的数据科学家之一。而他的《删除》一书,同样被认为是关于数据的开创性作品,并且创造了“被遗忘的权利”的概念而在媒体圈和法律圈得到广泛运用。该书获得美国政治科学协会颁发的唐•K•普赖斯奖,以及媒介环境学会颁发的马歇尔•麦克卢汉奖。同时受到《连线》、《自然》《华尔街日报》《纽约时报》等各大权威媒体广泛好评。
C. 大数据时代的大变革
大数据时代的大变革
在云计算仍处于“云里雾里”而亟待落地的今天,IT的浩瀚天空中突然传来了天使的号角声——大数据时代来了!大数据,开启了一个彻头彻尾的变革年代,更开启了一个蕴含无穷多机会的年代。谁能够“号准”大数据时代的“脉搏”,谁就能够在全球IT业的新一轮角逐中独领风骚。
令人充满想象的大数据,究竟“大”在何处?
今天,我们再也不能用狭隘的视角来审视大数据了。因为今天的大数据,不仅体现为数据量的惊人增长,更前所未有地引入了正在不断扩展中的数据类型。从量的增长来看,IDC报告显示,未来10年全球大数据将增加50倍。而刚刚过去的2011年,就产生了1.8ZB(1.8万亿GB)的大数据,这相当于每个美国人按每分钟发3条微博的速度,不停发布2.6976万年。与此同时,社会上的各行各业,从电信、IT业,到金融、证券、保险、航空、酒店服务业等,地球上的各种存在,从每个人到每棵树、每朵花乃至每粒沙子,无一例外地都在成为大数据的生成者。在量和面上的双重积累,让我们不难想象和接受数据大爆炸的现实——2020年的全球数据使用量将达到35.2ZB(1ZB=10亿TB)。
犹如一座富矿的大数据,究竟该如何“开采”?
这是一个令人着迷的问题,因为与正确答案相伴的将是谁都渴望的巨大商业成功。当前,伴随着变革的发生,传统的互联网企业已经站在了大数据时代的最前沿。作为探索的先锋,他们能否笑到最后,是否会成为“先烈”?这一问题尽管很难回答,但至少为成功的觊觎者提供了充分的借鉴和参考。
作为后PC时代的四大巨头,Facebook、谷歌、苹果、亚马逊正在成为大数据的拥有者和使用者。在自觉或不自觉间,Facebook已然成为业界第一个生成大数据的“巨鳄”,而其他三巨头仍在努力中。苹果依靠操作系统和颠覆性的终端,正在努力打造大数据的生成之地;谷歌主要依靠操作系统、搜索引擎和“Google+”平台整合终端产品,以储备可以利用的大数据;亚马逊作为云计算的最早倡导者之一,则通过网络平台、云计算平台和阅读终端,期望建立起一个电子商务垂直领域的大数据汇集地。虽然巨头们的策略各有不同,但利用种种手段整合碎片化的数据进而加以利用的趋势,已经再明显不过了。
相比这四大巨头,电信运营商的探索才刚刚起步。“日内瓦的电信运营商,正在针对市民活动的可视化展开研究。”天云科技副总雷涛在近日举行的云计算大会云基地专场上指出,“通过在用户手机上安装传感器,就能够记录下大量的位置信息,从而使得市民活动可视化,这对建立一个智慧城市,进行人口规划、区域规划都具有重要意义。”事实上,一个个再简单不过的位置信息背后,隐藏着巨大的、待挖掘的价值,这个价值对于各行各业都具有关键的作用。例如,房地产开发商就很渴望知道高端用户最频繁出入的区域,而这些区域就是商业地产的最佳候选地。而除了位置信息外,电信运营商能够挖掘的信息和数据,仍有无穷无尽的空间,包括了用户喜好、消费能力等等。
在企业的自发行为以外,国家级的战略支持已经浮出水面。美国,作为ICT强国,嗅觉最为敏锐。2012年3月29日,奥巴马政府公布了“大数据研发计划”,目标在于改进当前人们从海量和复杂的数据中获取知识的能力,而这是美国继高速网络和超级计算中心之后的另一个重大科技项目。据悉,首批共有6个联邦部门宣布投资2亿美元,共同提高收集、储存、保留、管理、分析和共享海量数据所需核心技术的先进性,并形成合力,同时增加大数据技术开发和应用所需人才的供给。显然,先行一步的美国,已经把大数据当作了其ICT产业再度在全球崛起的重要契机。在找准了崛起的方向之后,富有行动力的美国,自然就会毫不拖泥带水地实施下去。
大数据,正在撬动全世界的神经,无论是国家、企业,还是每一个独立存在的个人,都将成为大数据时代的贡献者和受益者。但问题是,你准备好了吗?
D. 《大数据时代》01 什么是大数据
今天我们第一本解读的是《大数据时代》这本书。
大数据是这几年特别火的一个词,那究竟什么是大数据呢?
字面意思可以理解为大数据就是数量巨大的数据,而这些巨大的数据再结合云计算、人工智能、物联网等技术会对于我们的生活、工作都会带来翻天覆地的影响。
芝加哥大学商学院教授、麦肯锡公司创始人,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”
而我们今天所讲的这本《大数据时代》是国外大数据研究的先河之作,本书作者舍恩伯格被誉为“大数据商业应用第一人”。舍恩伯格在书中前瞻性地指出,大数据带来的信息风暴正在变革我们的生活、工作和思维,大数据开启了一次重大的时代转型,并用三个部分讲述了大数据时代的思维变革、商业变革和管理变革。对于身处于大数据时代额我们可谓是会产生异常极大的思维方式的变革。
舍恩伯格最具洞见之处在于,他明确指出,大数据时代最大的转变就是,放弃对因果关系的渴求,而取而代之关注相关关系。也就是说只要知道“是什么”,而不需要知道“为什么”。这就颠覆了千百年来人类的思维惯例,对人类的认知和与世界交流的方式提出了全新的挑战。
下面我们就进入到《大数据时代》这本书中去吧。
首先来看第一个话题大数据的思维变革
大数据与三个重大的思维变革有关,而这三个转变是相互作用的。
一.不是随机样本,而是全体数据
解释一下就是分析事物相关的所有数据,而不是仅仅依靠分析少量的数据样本。
二是不是精确性,而是混杂性
就是要接受数据的纷繁复杂,而不再追求准确性。
三是不是因果关系,而是相关关系
即不再追求难以摸索的因果关系,转而关注事物的相关关系。
这三个在大数据时代思维变革的转变我们会在接下来节目中一一讲解。
今天我们这一节先讲解:不是随机样本,而是全体样本,这一思维的变革。
小数据时代的随机抽样
为什么这么说呢?在我们过去技术并不发达的时候,只能用少量数据来进行随机采样是最高效的方式,即利用最少的数据来获取更多的信息。
在19世纪时美国的人口普查中,因为数据的变化超过了当时的人口普查统计分析能力,有人提出到数据无比庞大时可以进行有目的的选择,具有选出代表性的样本是最恰当的方式,这就是随机抽样。并且还非常有见解的提出:采样分析的精确性是随着采样随机性的增加而大幅的提高与样本的数量增加关系并不大,也就是说,随机采样样本的随机性比数量的多少更为重要。
而在当时,政府确实也采用了随机调查的方式来对于经济和人口进行了200多次小规模的调查,除此之外,在商业领域也会采用随机调查的方式来抽取部分商品来检查商品的质量安全。
随机抽样取得了巨大的成功,成为了现代社会,现代测量领域的主心骨,但这只是一条捷径,是不可能收集和分析全部数据情况下的选择,他本身就有很多的缺陷。
随机抽样的缺陷
第一,它的成功依赖于采样的绝对随机性,但在实现中绝对的随机性是非常困难,一旦分析过程中存在任何“偏见”,分析结果就会相去甚远。
第二,随机采样不适宜用于考察此类别的情况,也就是说随机抽样,一旦继续细分错误率会大大增加,比如说你想调查大学生玩手机的情况,您采取的调查结果可能会有3%的误差,但如果又把这个调查结果根据性别地域、收入来进行细分,那结果就会变得更为不准确。
因此当人们想要了解更深层次的细分领域的情况,采用随机采样的方法显然是不可取的,在宏观领域起作用的方法,在微观领域上失去了作用,随机采样就像是模拟照片,打印再远看会是非常不错,但是一旦聚焦在某个点,就会变得模糊不清。
全部数据的采样方式
现在我们正在步入了大数据时代,我们需要一中新的数据采集模式----全数据模式,即样本等于总体。
我们这个时代收集数据,并不像过去那样困难,手机导航、社交网站、微博、微信这些随时随地或主动或被动的收集你所产生的信息,并且通过计算机就可以轻而易举地完成数据处理。
采取全部数据的采样方式,可以不用考虑随机抽样所考虑的随机性,并且在细分领域也会发挥极大的作用,一个很好的例子,就是日本国民体育运动相扑之中所产生的非法操控比赛结果。
相扑比赛和其他比赛有所不同的就是选手需要在15场比赛之中的大部分场次获得胜利,才能保持排名和收入。这样一来就会出现收益不对称的情况,比如说一个7胜7负的选手,遇到一个8胜6负的选手,比赛结果对于第一个选手会比对第二个选手更为重要。列维特和达根发现在这种情况下,需要赢的那个选手,最可能会赢,这是为什么呢?有没有可能是选手的求胜心呢?当然有可能,但并不是完全!有数据显示需要赢的选手,求胜心,也只能把胜率增加25%。并且对于数据进一步分析发现,选手如果帮助上一次失利的一方的话,当他们再次相遇时,对方会回报回来。
这种情况在相扑界是显而易见的,但若是随机抽样就无法发现这个情况。而大数据通过分析所有比赛,用极大的数据来捕捉到这个情况。
还有关于大数据应用的例子是:2009年,谷歌公司将5000万条美国最频繁的检索词条和美国疾控中心在2003年至2008年季节性流感传播实际数据进行比较,成功预测了甲型H1N1流感的出现。
现在2021年,利用大数据来预测新冠肺炎的发展情况,已经成为我们日常新闻报道的一部分了。
在大数据时代的到来,让我们可以利用技术,从不同角度更细致的观察和研究数据的方方面面,使我们的调查更为精准。
回顾一下我们这一节所讲的过去的调查是采用小部分的数据来进行抽样调查,这一方法有显著的缺点
首先是抽样分析依赖于采样的随机性,而一旦数据出现”偏见“,结果便会大相径庭
第二抽样分析也只适用于宏观分析,对于更加微观的调查结果并不理想。
如今的技术环境已经有了很大的改善,在大数据时代进行抽样分析就是在汽车时代骑马一样,我们要分析与事物相关的而所有数据,而不仅仅是少量的数据。
以上就是我们本期全部内容,下一期我会讲到大数据时代下思维变革的后两个思维变革。
我的节目首发平台是公众号“悦读深入思考”关注还有更多内容
E. 大数据时代的变革思维
大数据时代的变革思维
信息时代,数据深刻影响着银行的未来发展。在全球庞大的人群和应用市场下,探索以大数据为基础的解决方案,深入洞察复杂且充满变化的市场成为了企业提高自身竞争力的重要手段。仅凭直观感受,任何人都能感觉到大数据时代已经来了。
维克托 迈尔舍恩伯格——《大数据时代》一书作者,牛津大学网络学院互联网研究所治理与监管专业教授,英国新闻周刊《经济学人》曾经将维克托迈尔-舍恩伯格定义为大数据领域最受人尊敬的权威发言人之一。2010年,维克托 迈尔舍恩伯格就已经开始对该领域进行了系统而深入的研究,并在《经济学人》上和数据编辑肯尼思库克耶一起,发表了长达14页的大数据专题文章,成为最早洞见大数据时代发展趋势的数据科学家之一。
大数据时代的思维变换
维克托 迈尔舍恩伯格在《大数据时代》中最具洞见之处在于,他明确指出,大数据时代最大的转变就是,放弃对因果关系的渴求,而取而代之关注相关关系。也就是说只要知道“是什么”,而不需要知道“为什么”。这颠覆了千百年来人类的思维惯例,对人类的认知和与世界交流的方式提出了全新的挑战。
这本书的价值体现在三个方面:第一,关于大数据的思维变换,重在大数据变革时代的价值与观念变化;第二,关于大数据影响商业变革的三个要素:即数据、技术与创新思维之间的互动;第三,是关于大数据泛化下的治理与隐私。
与中国企业相比,美国企业知道大数据价值并且能挖掘大数据的隐藏价值,从而获得最大利益,可以说他们已经建立了大数据思维,从而促使他们不断创新挖掘更好的数据。“美国收集的数据要比我们多得多,他们不光搜集可以理解的数据,他们也收集不能理解的数据,并且会花大量资源来存储这些数据,让数据一直有价值。”在维克托迈尔舍恩伯格看来,大多数企业还把大数据作为一种在市场营销手段,但是大数据还可以帮助人们改变商业模式以及盈利模式,这才是大数据最大的价值所在。“美国与中国相比,最不同一点就在于他们有大数据思维,懂得如何利用大数据的价值,但这并不代表中国无法逾越美国,中国的优势在于掌握数据量比较大,而在大数据时代‘大’也是非常重要的。”
城市的发展需要大数据,没有数据的辅佐城市就不会得到最优化的发展方案,大数据能帮助政府领导者进行更好的决策,尤其是公共政策的决策。城市需要知道如何建立基础设施来收集数据,同时要利用大数据开拓思路,让数据来说话,并且借助多方力量,即便是大数据方面的专家,但是并不一定有最正确的决定或最有效的方法来利用大数据,所以政府在这方面需要多听取私人企业或机构的意见,大数据时代合作、沟通、广泛吸纳意见是非常重要的。
维克托 迈尔舍恩伯格以伦敦为例谈道:“伦敦政府其实是从一家私人企业买了关于人们交通模式的数据,让政府惊讶的是人们的行动路线跟他们想象的完全不一样,所以在这一方面的帮助他们更好的优化交通,包括高速公路、停车场,以减少城市拥堵。”
谁是大数据“赢家”?
大数据所面临困境并不在技术方面,而是在数据流动方面。大数据时代,一个人的智慧不能帮助我们更好的利用大数据价值,所以要让数据流动起来,让不同的部门和不同的公司都参与进来,进而优化数据。
“更多的人会认为大数据只是用在企业营销方面,但是如果让他们知道大数据可以帮助孩子更好的学习、更好的生活居住条件,以及能够解决城市交通、居住等问题,他们慢慢发现大数据的好处,他们就会关心大数据。”维克托迈尔舍恩伯格谈道,“一方面,人们要信任大数据,不要害怕大数据暴露隐私,需要建立完善的大数据保护。不信任就导致人们不愿意让其他机构知道数据,如果不能使用这些数据就更谈不上大数据的价值。所以只有让他们信任数据,才能挖掘大数据价值。另一方面,一定要接受大数据使用限制问题,不要赋予大数据过多的意义。”
维克托 迈尔舍恩伯格理解的大数据赢家,并不是指本来就已经很成功而且在大数据时代同样成功的的公司,“我认为大数据的最大赢家应该是一些默默无闻的公司,因为大数据而发生飞跃性的变化,所以大数据时代最大赢家不可能是那些已经掌握大量数据的大公司,而是新兴创业、年轻人来工作的小公司,帮助他们在大数据时代成为非常有竞争力的企业。所以数据好比一座金山,但是数据在那里放着,这座金山就不会属于你,我们需要做的是了解并挖掘这些‘金子’,成为大数据的赢家。”维克托迈尔 舍恩伯格如是说。
大数据是看待现实的新角度,不仅改变了市场营销、生产制造,同时也改变了商业模式。数据本身就是价值来源,这也就意味着新的商业机会,没有哪一个行业能对大数据产生“免疫能力”,适应大数据才能在这场变革中继续生存下去。