A. 什么是大数据时代
(1)大数据时代的提出
最早提出大数据时代到来的是全球知名咨询公司麦肯锡,他认为数据已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。
(2)大数据时代的来临
随着互联网快速发展、智能手机以及“可佩带”计算设备的出现,我们的行为、位置,甚至身体生理数据等每一点变化都成为了可被记录和分析的数据。这些新技术推动着大数据时代的来临,各行各业每天都在产生数量巨大的数据碎片,数据计量单位已从Byte、KB、MB、GB、TB发展到PB、EB、ZB、YB甚至BB来衡量。
(3)大数据时代的特点
如果简单来理解什么是大数据,我们只要抓住大数据的四个特点,大量、高速、多样、价值。具体来讲就是数据体量巨大,数据的爆发性增长迫切的需要智能的算法、强大的数据处理平台和新的数据处理技术,来统计、分析、预测和实时处理如此大规模的数据;数据类型繁多,广泛的数据来源决定了大数据形式的多样性。任何形式的数据都可以产生作用,目前应用最广泛的就是推荐系统的应用;价值密度低,现实世界所产生的数据中,有价值的数据所占比例很小。相比于传统的小数据,大数据最大的价值在于通过从大量不相关的各种类型的数据中,挖掘出对未来趋势与模式预测分析有价值的数据;数据分析处理速度快,主要通过互联网传输。大数据对处理速度有非常严格的要求,服务器中大量的资源都用于处理和计算数据,很多平台都需要做到实时分析。
B. 3000字概括《大数据时代》
有言在先
近期有些起伏,这种情况最适合回归书本,寻找一些你内心认同的东西。这几天花了点时间重温《大数据时代》,整理、总结出了精华的东西,分享给大家。
大数据引起了变革
当今社会所独有的一种新型能力:以一种前所未有的方式,通过对海量数据进行分析,获得巨大价值的产品和服务,或深刻的洞见。
? 震人心魄的数据
2003年,人类第一次破译人体基因密码的时候,辛苦工作10年才完成了三十亿对碱基对的排序;大约10年后,世界范围内的基因仪每15分钟就可以完成同样的工作。在金融领域,美国股市每天的成交量高达70亿股,而其中三分之二的交易都是邮件里在数学模型和算法之上的计算机程序自动完成的。
在2007年,所有数据中只有7%是存储在报纸、书籍、图片等媒介上的模拟数据,其余全部是数字数据;在2000年时,数字存储信息仍只占全球数据量的四分之一;当时,另外四分之三的信息都存储在报纸、胶片、黑胶唱片和盒式磁带这类媒介上。
? 大数据的精髓
大数据带给我们的三个颠覆性观念转变:是全部数据,而不是随机采样;是大体方向,而不是精确制导;是相关关系,而不是因果关系。
A.不是随机样本,而是全体数据:在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样(随机采样,以前我们通常把这看成是理所应当的限制,但高性能的数字技术让我们意识到,这其实是一种人为限制);
B.不是精确性,而是混杂性:研究数据如此之多,以至于我们不再热衷于追求精确度;之前需要分析的数据很少,所以我们必须尽可能精确地量化我们的记录,随着规模的扩大,对精确度的痴迷将减弱;拥有了大数据,我们不再需要对一个现象刨根问底,只要掌握了大体的发展方向即可,适当忽略微观层面上的精确度,会让我们在宏观层面拥有更好的洞察力;
C.不是因果关系,而是相关关系:我们不再热衷于找因果关系,寻找因果关系是人类长久以来的习惯,在大数据时代,我们无须再紧盯事物之间的因果关系,而应该寻找事物之间的相关关系;相关关系也许不能准确地告诉我们某件事情为何会发生,但是它会提醒我们这件事情正在发生。
? 大数据的核心是预测
大数据的核心就是预测,它通常被视为人工智能的一部分,或者更确切地说,被视为一种机器学习。大数据不是要教机器人像人一样思考,而是把数学算法运用到海量的数据上来预测事情发生的可能性。
●●●
不是随机样本,而是全体数据
历史上,因为记录、储存、分析数据的工具都不够好,为了让分析变得简单,我们选择了把数据量减少,
统计学的一个目的就是用尽可能少的数据来证实尽可能重大的发现。
? 传统抽样的精确性
采样分析的精确性随着采样随机性的增加而大幅提高,但与样本数量的增加关系不大,大致原因是当样本数量达到某个值后,我们从新个体身上得到的信息会越来越少,这与经济学中的边际效应类似。
? 随机采样的问题
随机采样有一个很大的问题:人们只能从随机采样中得出事先设计好的问题的结果,调查得出的数据不可以重新分析以实现计划之外的目的,而且一旦采样过程中存在任何偏见,分析结果就会相去甚远。
? 样本=总体
采样的目的就是用最少的数据得到最多的信息,当我们可以获得海量数据的时候,它就没有什么意义了;生活中真正有趣的事情经常藏匿在细节之中,而采样分析却无法捕捉到这些细节(因为采样不能得到计划之外的东西);大数据建立在掌握所有数据,至少是尽可能多的数据的基础上,所以我们就可以正确地考察细节并进行新的分析。
●●●
不是精确性,而是混杂性
执迷于精确性是信息缺乏时代和模拟时代的产物,只有5%的数据是结构化且能适用于传统数据库的,如果不能接受混乱,剩下的95%的非结构化数据都无法被利用。
? 小数据时代的精确性
在“小数据时代”,人们收集、处理数据的能力有限,对“小数据”而言,最基本、最重要的要求就是减少错误,保证质量(收集信息的有限意味着细微错误会被放大,甚至有可能影响整个结果的准确性)。人们创造了很多精确的系统,这些系统试图让我们接受一个世界困乏而规整的惨象——假装世间万物都是整齐地排列的;事实上现实是纷繁复杂的,天地间存在的事物也远远多于系统所设想的。
? 我们要的是概率
我们总是为了一个“答案”而活着,精确性似乎一直是我们生活的支撑,但认为每个问题只有一个答案的想法是站不住脚的。“一个唯一的真理“的存在是不可能的,而且追求这个唯一的真理是对注意力的分散。大数据也许是拯救我们的关键方法:大数据通常用概率说话,而不是板着“准确无疑”的面孔。
●●●
不是因果关系,而是相关关系
在大数据时代,我们不必知道现象背后的原因,而是要让数据自己“发声”。我们不再一味追求人们为什么这么做,知道人们为什么这么做可能是有用的,但这个问题目前并不是很重要,重要的是我们能通过大数据分析出人们的相关行为。
? 相关关系
相关关系的核心是量化两个数据值之间的数理关系:相关关系强是指当一个数据值增加时,另一个数据值很有可能也会随之增加;相关关系弱就意味着当一个数据值增加时,另一个数据值几乎不会发生变化。相关关系通过识别有用的关联物来帮助我们分析一个现象,而不是通过揭示其内部的运作机制。相关关系没有绝对,只有可能性。
? 人们的直接目的就是寻找因果关系
人们的直接愿望就是了解因果关系,我们已经习惯了信息的匮乏,故此亦习惯了在少量数据的基础上进行推理思考。以前我们用实验来证明因果关系,它是通过是否有诱因来分别观察所产生的结果是不是和真实情况相符。但是,凡事皆有因果的话,那么我们就没有决定任何事的自由了。如果说我们做的每一个决定或者每一个想法都是其他事情的结果,而这个结果又是由其他原因导致的,以此循环往复,那么就不存在人的自由意志这一说了——所有的生命轨迹都只是受到因果关系的控制了——这显然是不正确的。
? 相关关系和因果关系并不矛盾
相关关系分析本身意义重大,同时它也为研究因果关系奠定了基础,通过找出可能相关的事物,我们可以在此基础上进行进一步的因果关系分析,如果存在因果关系的话,我们再进一步找出原因。在大多数情况下,一旦我们完成了对大数据的相关关系分析,而又不再满足于仅仅知道“是什么”时,我们就会继续向更深层次研究因果关系,找出背后的“为什么”。在小数据时代,我们会假象世界是怎么运作的,然后通过收集和分析数据来验证这种假象;在大数据时代,我们会在数据的指导下探索世界,不再受限于各种假想;我们的研究始于数据,也因为数据我们发现了以前不曾发现的联系。
A.大量的数据意味着“理论的终结”:用一系列的因果关系来验证各种猜测的传统研究范式已经不实用了,如今它已经被无需理论指导的相关关系研究所取代;
B.现在已经是一个有海量数据的时代,应用数学已经取代了其他的所有学科工具,而且只要数据足够,就能说明问题,如果你有一拍字节的数据,只要掌握了这些数据之间的相关关系,一切就迎刃而解了;
C.“理论的终结”:所有的普遍规则都不重要了,重要的是数据分析,它可以揭示一切问题;但大数据并不意味着理论已死,因为大数据就是在理论的基础上形成的。
●●●
大数据时代的商业变革
在一个可能性和相关性占主导地位的世界里,专业性变得不那么重要了;行业并不会消失,但是他们必须与数据表达的信息进行博弈。
? 数据化:一切皆可量化
大数据的核心发展动力来源于人类测量、记录和分析世界的渴望。为了得到可量化的信息,我们要知道如何计量;为了数据化量化了的信息,我们要知道怎么记录计量的结果。如今我们经常把“数字化”和“数据化”这两个概念搞混,但是对这两个概念的区分实际上非常重要:
A.数据化:一种把现象转变为可制表分析的量化形式的过程;
B.数字化:把模拟数据转换成0和1表示的二进制码;
数字化带来了数据化,但是数字化无法取代数据化;数字化是把模拟数据变成计算机课读的数据,和数据化有着本质的不同。
? 当方位变成了数据
1978年见证了一个伟大的转变,当时构成全球定位系统(GPS)的24颗卫星第一次发射成功,通过与技术手段的融合,全球定位系统能够快速、相对低价地进行地理定位,而且不需要任何专业知识。地理位置信息汇集起来,可能会揭示事情的发展趋势;位置信息一旦被数据化,新的用途就犹如雨后春笋般涌现出来,而新价值也会随之不断催生。
? 当沟通变成数据
社交网络平台不仅给我们提供了寻找和维持朋友、同事关系的场所,也将我们日常生活的无形元素提取出来,再转化为可作新用途的数据。数据化不仅能将态度和情绪转变为一种可分析的形式,也可能转化人类的行为,这些行为难以跟踪,特别是在广大的社区和其中的子人群环境中。
A.Facebook将关系数据化——社交关系在过去一直被视作信息而存在,但从未被正式界定为数据,直到Facebook“社交图谱”的出现;
B.Twitter通过创新,让人们能轻易记录以及分享他们零散的想法,从而使情绪数据化得以实现。
? “取之不尽,用之不竭“的数据创新
尽管数据长期以来一直是有价值的,但通常只是被视作附属企业经营核心业务的一部分,或者被归入知识产权或个人信息中相对狭窄的类别,但在大数据时代,所有数据都是有价值的。我们的时代,数据收集不再存在固有的局限性,由于存储成本的大幅下降,保存数据比丢弃数据更加容易,这使得以较低成本获得更多数据的可能性比以往任何时候都大。不同于物质性的东西,数据的价值不会随着它的使用而减少,而是可以不断地被处理,信息不会像其他物质产品一样随着使用而有所损耗。数据的价值并不仅限于特定的用途,它可以为了同一目的而被多次使用,也可用于其他目的。 作者 _Glen_ 本文转自简书,转载需授权
C. 大数据时代,给我们带来了哪些改变
大数据这个词语的概念已经有好几年的时间,人们会经常的提起。但是只有很少的一部分人能理解了它的概念。虽然大多数人不知道大数据是什么。但是,也多多少少能听人们说起,大数据时代的到来,带给了人们很多的变化。毕竟,人都是向前看的,都想赶上一股崭新的浪潮,使自己与这个时代与时俱进,不断的提升自己的综合能力,抛弃封建传统的思想,接受大数据时代带来的新的机遇和挑战。
一、思维方式改变:
所谓思维方式,是一种习惯性的思考问题和处理问题的模式,并由此对我们的行为方式产生直接的影响。然而,如今大数据正影响着我们的思维方式。随着网络、腾讯、淘宝等网络公司的迅速崛起以及他们的迅速致富,数据致富成了新的致富神话。先前那些房地产、电器大亨费了九牛二虎之力才取得的亿万财富,而这些网络数据商则在短短的几年时间就迅速超越了这些实体公司的财富,并且所费人力、物力和财力甚少。这些致富的神话使人们意识到了数据在我们这个时代成了最重要的资源之一,改变了我们传统的认知观念与往常的思维方式。
二、教育的改变:
传统的学校教育模式映射了工业化集中物流批量生产的模式:铃声、标准化的课堂、统一的教材、统一的服装等。虽然这种教育也培养出了很多人才,然而大数据教育将呈现另外的特征,例如弹性学习、个性化辅导等。学习分析是近年来大数据在教育领域较为典型的应用,利用松散耦合的数据收集工具和分析技术,研究并分析学生学习参与、学习表现和学习过程的相关数据,进而对课程、教学进行实时修正并预测学习者未来的学习趋势。因此,大数据教育将更好的诠释“因材施教”这一词语,实现个性化学习与教学,培养出更多杰出的、优秀的人才。
三、经济的改变:虽然我们在政治课上学到的是,生产决定消费,消费对生产有重要的反作用力。然而我认为,在如今这个极为宣扬个性与创造力的社会中,消费很大程度地决定着生产。消费者不认同的,就卖不出去,只有消费者认同的,才卖得出去。然而,大数据可以在较短的时间内,通过对数据的全面感知、筛选、收集、分析、共享等为生产者提供可靠的、及时的信息,让生产者生产出更为畅销、更具个性化的物品。
其实,大数据时代,大数据改变我们的还有很多很多,如:医疗、交通等等方面,大数据时代来临,我们应该跟紧时代的改变,顺应时代的发展,在改变找准自己的定位,不断提高自己!
D. 怎么理解现今时代是“大数据时代”
一切都可以以数据的形式表现出来,人们可以通过大数据手段做到许多曾经难以做到的事。
随着信息技术的不断发展,我们已经开始进入所谓的“大数据时代”。在这个时代当中,大数据库对一切行为都有了一个数据化的表达,用量化的方式来分析我们生活中所遇到的一切。
这其实就是大数据在生活当中的表现,虽然我们还没有意识到自己已经被影响,但是大数据确实无时无刻不在影响着人们的人生进程。
在生活可以被数据化的今天,大数据时代已经悄然来到。
E. 大数据时代发展历程是什么
可按照时间点划分大数据的发展历程。
F. 北大青鸟分享大数据时代究竟带来了什么
数据正滑悔,让一切有迹可循,让一切有源可溯。我们每天都在产生数据,创造大数据和使用大数据,只是,你,仍然浑然不知。
网络知道和知乎问答里一直有小伙伴在问这个问题,比如“大数据时代,生活和思维发生了哪些变”、“大数据时代给我们的生活带来了哪些好处呢?”以及“大数据时代生活将会有怎样的变化”等等。看着大家热火朝天的在了解大数据、认识大数据和讨论大数据,北大青鸟认为这说明大数据已经渐渐被大众所接受,也标志着大数据产业正在走向成熟化和大众化。
那么大数据时代给我们的生活带来了哪些便利与好处呢?
1、节约时间,更有效率
先看看我们身边经常用到的一些服务,比如我们经常用到的快递、外卖和共享单车,这些APP的后台都有一张“大数据”。快递后台会根据数百亿历史地址去做预测,用大数据算法来做智能分单取代了原来的人工分单,可以最大程度地优化路线,降低人工配单时间,还能减少错误操作,节省人力成本。快递只是整个物流领域里漏出的一只角,大数据技术可以帮助全部环节的物流供给与需求匹配,优化资源配给,另外,根据消费者习惯偏好,大数据可提前预测消费者需求,将商品物流环境和客户的需求同步,提前计算出运输路线和配送路线,缓解物流压力,提高用户满意度。
2、让人们更容易借到钱,让老赖无处遁形
对于普通人来说,开通信用卡需要提供收入学历等证明;在农村,你需要向信用社借钱,也需要提供可抵押的不动产等。现阶段的信用卡是容易办到了,可是额度还是远远满足不了剁手党的需求。去银行借钱也很不方便,拿号,排队,填一大堆单子等等。
对于办理信用卡和贷款来说,银行需要的都是“指定数据”,指定的收入证明,指定的不动产证明等。而互联网金融(如:蚂蚁花呗、蚂蚁借呗和京东白条),他们需要的数据更多,但是这些数据不需要完全由借钱的人来提供,他们会根据借贷人在电子商务的消费数据、绑定的银行卡数据、行为数据等等来做评分授信。
3、大数据让人更加聪明更智慧
人的智慧是无穷让闷的,但是人的计算能力和记忆力是有上限的。就拿我们最爱玩的《王者荣耀》来说,你知道哪个英雄的胜率最高吗?有人会回答是武则天,也有人回答是诸葛亮,更有人回答是亚瑟,但是通过后台统计分析了广大玩家数以万计的数据来看,2017年6月的最新数据,《王者荣耀》胜率最高的前3英雄分别为牛魔、蔡文姬和宫本武藏。根据官方提供的这份数据,用户可以做出最优的选择,更有效率的王者举正。
G. 怎样解读大数据时代
随着4G的普及和5G的发展,大数据时代到来,在我们的日常生活中,大数据已经存在于生活中,大数据不难理解,但就具体以西而言,可以从三个方面来理解大数据,帮助大家更好地了解。
1、海量数据
从字面上看,大数据实际上是海量数据的聚合。在当今的互联网时代,当您在手机或电脑上下载和安装软件时,您需要对收集个人使用数据的软件进行授权。否则无法使用,基于这些条件,大数据在合理的时间内,通过合法的手段,对个人的使用习惯和使用信息进行采集、管理和处理,然后将其整合成一个庞大的数据集。
2、大数据技术
企业产生的数据一般称为大数据,将数据下载并分析到数据库中。因此,云计算往往与大数据相结合,大规模的数据分析需要借助云计算。大数据应用技术被任何人称为大数据技术,包括各种大数据平台的应用技术。
3、大数据的目标
通过了解大数据的价值,我们可以了解大数据的重要性,通过了解大数据的特点,我们可以了解大数据在行业中的定性本质。你需要学会分析大数据的发展趋势,可以从大数据和隐私的角度看数据,大数据的最终目标是通过海量数据与数据测量检测的融合,帮助提升产品和服务,促进产品和行业的进一步发展。而大数据算法可以有效帮助政府协调和控制市场,尽可能避免金融危机。
AI智能舆情监控系统,点击获取你的专属报告
快速、全面、精准监测
点亮工场
查看
就大数据而言,大数据的终极价值应该是实践,它描述了互联网大数据公司的大数据、个人大数据,最后是政府大数据等各个方面的大数据领域。
H. 大数据时代读后感1000字(2)
大数据时代读后感1000字(精选7篇)
舍恩伯格分三部分来讨论大数据,即思维变革、商业变革和管理变革。在第一部分”大数据时代的思维变革“中,舍恩伯格旗帜鲜明的亮出他的三个观点:一、更多:不是随机样本,而是全体数据;二、更杂:不是精确性,而是混杂性;三、更好:不是因果关系,而是相关关系。对于第一个观点,我不敢苟同。一方面是对全体数据进行处理,在技术和设备上有相当高的难度。另一方面是不是都有此必要,对于简单事实进行判断的数据分析难道也要采集全体数据吗?我曾与香港城市大学的祝建华教授讨论过。祝教授是传播学研究方法和数据分析的专家,他认为一定可以找到一种数理统计方法来进行分析,并不一定需要全部数据。联系到舍恩伯格第二个观点中所说的相关关系,我理解他说的全体数据不是指数量而是指范围,即大数据的随机样本不限于目标数据,还包括目标以外的所有数据。我认为大数据分析不能排除随机抽样,只是抽样的方法和范围要加以拓展。
我同意舍恩伯格的第二观点,我认为这是对他第一个观点很好的补充,这也是对精准传播和精准营销的一种反思。”大数据的简单算法比小数据的复杂算法更有效。“更具有宏观视野和东方哲学思维。对于舍恩伯格的第三个观点,我也不能完全赞同。”不是因果关系,而是相关关系。“不需要知道”为什么“,只需要知道”是什么“。传播即数据,数据即关系。在小数据时代人们只关心因果关系,对相关关系认识不足,大数据时代相关关系举足轻重,如何强调都不为过,但不应该完全排斥它。大数据从何而来?为何而用?如果我们完全忽略因果关系,不知道大数据产生的前因后果,也就消解了大数据的人文价值。如今不少学者为了阐述和传播其观点往往语出惊人,对旧有观念进行彻底的否定。
世间万物的复杂性多样化并非非此即彼那么简单,舍恩伯格也是这种二元对立的幼稚思维吗?其实不然,读者在阅读时一定要看清楚他是在什么语境下说的,不要因囫囵吞枣的浅读而陷入断章取义的误读。比如说舍恩伯格在提出”不是因果关系,而是相关关系。“这一论断时,他在书中还说道:”在大多数情况下,一旦我们完成了对大数据的相关关系分析,而又不再满足于仅仅知道‘是什么’时,我们就会继续向更深层次研究的因果关系,找出背后的‘为什么’。“[i]由此可见,他说的全体数据和相关关系都在特定语境下的,是在数据挖掘中的选项。
大数据研究的一大驱动力就是商用,舍恩伯格在第二部分里讨论了大数据时代的商业变革。舍恩伯格认为数据化就是一切皆可”量化“,大数据的定量分析有力地回答”是什么“这一问题,但仍然无法完全回答”为什么“。因此,我认为并不能排除定性分析和质化研究。数据创新可以创造价值,这是毫无疑问的。舍恩伯格在讨论大数据的角色定位时仍把它置于数据应用的商业系统中,而没有把它置于整个社会系统里,但他在第二部分大数据时代的管理变革中讨论了这个问题。在风险社会中信息安全问题日趋凸显,数据独裁与隐私保护成为一对矛盾。如何摆脱大数据的困境?舍恩伯格在最后一节”掌控“中试图回答,但基本上属于老生常谈。我想,或许凯文·凯利的《失控》可以帮助我们解答这个问题?至少可以提供更多的思考维度。正如舍恩伯格在结语中所道:”大数据并不是一个充斥着算法和机器的冰冷世界,人类的作用依然无法被完全替代。大数据为我们提供的不是最终答案,只是参考答案,帮助是暂时的,而更好的方法和答案还在不久的未来。“谢谢舍恩伯格!让大数据讨论从自然科学回到人文社科。由此推断,《大数据时代》不是最终答案,也不是标准答案,只是参考答案。
此外,在阅读此书之前还必须具备一些数据科学的基本知识和基本概念,比如说什么叫数据?什么叫大数据?数据分析与数据挖掘的区别,数字化与数据化有什么不同?读前做些功课读起来就比较好懂了。
我们不再热衷于寻找因果关系,而应该寻找事物之间的相关关系。这个命题是我读这本书最大的感触。个人认为也是这本书最核心的思想。从头说起吧,首先,书提出一个颠覆我以前认知的命题--”并非原子而是信息才是一切的本源“,将世界看做信息,看做可以理解的数据的海洋,为我们提供了一个从未有过的审视下是的视角。它是一种可以渗透到所有生活领域的世界观。这个命题是在书的最后一部分中的某一段中描写的。我之所以把它放在最前面来讲,因为我觉得,这是谈数据化世界的前提,自然也是谈论大数据的前提啦。书的中间部分有一节讲到数据化和数字化的区别。经过我自己脑子的整理,把数据化世界这个命题列为大数据思维的第二步。写到这里,我不由得反省下,我是不是有领悟到书的精髓所在(我认为的精髓),就是第一句话。因为回顾我整个思路,还是按照旧模式的因果关系思考模式思考问题。书中另一个吸引我的地方就是,有很多观点的论述,会从哲学的高度论述。虽然,自己肚子没多少墨水,但是读这些描述的时候,就会发现自己会更好的理解作者提出的命题。比如书中有一段文字
当我们说人类是通过因果关系了解世界时,我们指的是我们再理解和解释世界各种现象时使用的两种基本方法:一种是通过快速、虚幻的因果关系,还有一种就是通过缓慢、有条不紊的因果关系。大数据会改变这两种基本方法在我们认识世界时所扮演的角色。
在附上一些事例的时候,用作者提供的”本质“去看待时,很容易理解,确实是这么回事。好了,那么大数据到底改变了我们什么呢,作者给出3点,
大数据的精髓在于我们分析信息时的三个转变,这些转变讲改变我们理解和组建社会的方法。
第一个转变就是,在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样(样本=总体)
第二个转变就是,研究数据如此之多,以至于我们不再热衷于追求精确度
第三个转变因前两个转变而促成,即我们不再热衷于寻找因果关系,而应该寻找事物之间的相关关系。大数据告诉我们”是什么“而不是”为什么“。在大数据时代,我们不必知道现象背后的原因,我们只要让数据自己发声。,出处:短美文,否则追究其责任,谢谢你的支持,我们会给做得更好!
正如大家所知道的那样,人类的大脑具备这样的功能,它会把新输入的刺激或信息与”过去的经验或积累的部分知识“相对照,然后进行调整并接受下来。如果眼前新的现实与大脑中储存的固有信息无法协调,便会在无意识中拒绝接受新的现实(当作没有看见);或者通过自己一知半解的知识任意推测,使自己认识到的情况偏离实际(产生错觉)。这是人的一种本能,目的在于使自己保持冷静。
所以作者称之为revolution。
讲了这么多,那么大数据到底给我们带来什么。在这里,我只想谈我感触最深的,其他的有兴趣的可以自己去了解。当然,书中提了很多,最多的就是,XXX公司或者个人利用大数据创造了多大的财富了,抛开这些表面的不说,最让我动心亦或者是害怕的是,预测。这是大数据带来最核心的东西,动心的理由无须赘述,计算机会告诉你什么时候买什么双色球可以中头奖,想想心里是不是有一点小激动咧。当然这只是我打的一个比较夸张的比喻。至于害怕呢,书中有段话我很喜欢
公平正义的基础是人只有做了某事才需要对它负责,毕竟,想做而未做不是犯罪,社会关系于个人责任的基本信条是,人为其选择的行为承担责任。如果大数据分析完全准确,那么我们的未来会被精准的预测,因此在未来,我们不仅会失去选择的权利,而且会按照预测去行动。如果精准的预测成为现实的话,我们也就失去了自由意志,失去了自由选择的权利。既然我们别无选择,那么我们也就不需要承担责任。这不是很讽刺吗。
扯到这里,顺便扯一下,书中另一段关于自由意志的描述
在哲学界,关于因果关系是否存在的争论已经持续了几个世纪。毕竟,如果凡事皆有因果的话,那么我们就没有决定任何事的自由了。如果说我们做的每一个决定或者每一个想法都是其他事情的结果。而这个结果又是由其他原因导致的。以此循环往复,那么就不存在人的自由意志这一说了。——所有的生命轨迹都只是受因果关系的控制了。因此,对于因果关系在世间所扮演的角色,哲学家们争论不休,有时他们认为,这是与自由意志相对立。
书中举了个例子,举了部电影《少数派报告》,当我看到这里的时候,”哎哟,我居然看过这部电影,想想心里还是有点小激动“,有兴趣的可以去看下,大概就是讲警察通过预测来提前抓捕犯人,不过不是通过大数据,是通过超人类的方式。当你什么举动都可以被预测,相当于你完全暴露在太阳光下,换成你,你害怕不。
最后,附上两段结语,一段是书中的一段话,另一段是我自己瞎编的。
大数据并不是一个充斥着算法和机器的冰冷世界,人类的作用依然无法被完全替代。大数据为我们提供的不是最终答案,只是参考答案,帮助是暂时的,而更好的方法和答案还在不久的未来。
大数据终将会影响到我们,也像其他技术一样会是一把双刃剑,用得好,动心,滥用,害怕。如同核技术一样,用的话,造福地球,滥用,给个金刚石地球你,照样爆。我相信,未来的大数据的发展会如作者所说的,是一场生活、工作与思维的革命。
“大数据”一词不知何时在我们的生活悄然出现,为了一探究竟,我便选择了《大数据时代》一书。
作者先从全局简单地描述大数据对我们的生活、工作与思维的影响,再从三方面具体地用上百个学术和商业的实例展开写作。样本=总体、追求精确性和相关关系等大数据时代具体特点一一现出。在同时,作者也从个人、企业等多角度分析大数据中的隐忧。
书中内容繁多,在此不能各方面概括。此书中虽有许多专有名词,但作者以其通俗的语言以及许多实例让我嗅到大数据时代中一抹清新之气。
为什么是清新的呢?因为书中的内容仿佛向我打开了一个既有点熟悉又有点陌生的世界。我们现在已处于网络时代 ,在我们日常简单的操作中大量数据产生,然而起初我们仅用众多技术在解决手头上的问题,那些大数据像沙子中的金子,价值不被发现。到目前,每当我们网上购书时总会看到“猜你喜欢”的栏目、出现谷歌搜索与流感预测、Farecast与飞机票价预测系统等,这些事情的达成全来自于那些曾被忽略的大数据同时也在证明“预测,大数据的核心”这句话,为我们的生活创造了前所未有的可量化的维度。看到书中这部分内容时,我不禁感受到自己的生活已在享大数据带来的福利,就像“猜你喜欢”栏目让我触到更多合我口味的书,让我看到了以前无法发现的细节。拥有大量数据的公司巨头如谷歌、亚马逊大力开发有关大数据的新型产业和研究相关项目。借网络时代的便利大数据成为了如今最有商业价值的事物,使一切可量化的趋势也开始出现。“本质上世界是由信息构成的”,面对这句话时,大数据时代仿佛就在眼前。
在感受惊叹着大数据能为我们做到以往无法想象的事和它巨大的价值时,我认同大数据能极大优化我们的生活,但又不禁为这时代感到担忧。一旦大数据时代来临,不仅我们的隐私可能不再是隐私,就如书中所言“我们时刻暴露在‘第三只眼’下:亚马逊监视着我们的购物习惯,谷歌监视着我们的购物习惯,而微博似乎什么都知道”,而且利用大数据我们可以预测许多事情并且十分高效,一旦人们依赖大数据极少运用人类自身的创新等能力被数据束缚住,世界只会沦落为一个极少活力的机械环境。而我认为最大的忧患,是大数据时代对人类自身思维、思想、信仰等精神领域的冲击。如今我们都生活在数据中,大数据时代说不定在几年后就会逐步来临,这使我不禁发问:我们一直坚信着信仰着的究竟是什么?我觉得世界说变就变实在令我想不通这个问题。事情都有好坏,我也不知道自己是否杞人忧天。
于是我继续去探索作者对这问题的思考。“更大的数据在于人本身”,作者还说“我们是在创造更好的未来”,也说“在一个预测的时代里,人类的自由意志不可侵犯,这一点不可轻视。我们在使用大数据时,应当怀有谦恭之心,铭记人性之本”。人类学家克利福德吉尔兹曾说:“努力在可以应用、可以拓展的地方,应用它、拓展它;在不能应用、不能拓展的地方,就停下来。”这些话语仿佛是阳光,驱散我心中对大数据时代的担忧以及内心对其的恐惧。我认为,在坚守我们内心和自由意志下,大数据才会造福我们人类世界,发挥出它背后对人温暖的光芒。
面对时代的变革,我会为坚守内心深处的自由意志而努力并“拥抱大数据”。
世界的本质就是数据,当你掌握了数据,你便掌控了世界—你可以轻而易举地通过数据中的相关关系预测事物的发展,将一切不利因素扼杀于摇篮之中—这远胜于"防患于未然"。
《大数据时代》一书,让我们在观念上有了三大转变:要全体不要抽样,要效率不要绝对精确,要相关不要因果。全书介绍了 "大数据"时代三种大的变革:思维变革,商业变革和管理变革。在这些巨大变革如洪水一般的"冲击"之下,现代社会的运作方式必将有重大的改变,若不顺应这种变革的潮流,就像古中国固步自封,最终被坚船利炮打开国门而自己还用着长钩铁戟抗争一样,不可避免被掠夺,被落于世界进程之后,所以我们必须转变我们的思想。
"我们不再热衷于寻找因果关系,而应该寻找事物间的相关关系",我想这句话是本书的核心思想。大数据时代,信息与数据已成为了一切的本源,我们生活在各种数据构成的海洋之中,如果从另一种视角看,就好像无数条"看不见的线"将我们与这些数据联系到一起,这是我们以前从未有过、从未想过的。大数据改变了我们以前的通过因果关系了解世界的方法,而提供了几种新的途径,因为,在大数据时代,我们可以分析更多数据,有时甚至可以处理和某个特别现象相关的所有数据,也就是:样本=总体;而且,当研究数据如此之多时,我们已不热衷于"精确",而是"混乱",若不接受"混乱",那么有95%的非结构化数据无法利用,这将无法使我们构建完整的数据世界,在分析更多、更全面的数据之后,我们就可以从这些数据之中发掘它们的相关关系,即以"是什么"而不是"为什么"的角度看待数据,不用管其从何而来,只要分析其如何影响其他事物既可,即"让数据自己发声",这些,彻底推翻了人类以前探索数据的方法,展现了一个全新的世界。
这种观念以惊人的力量给现知识状况带来了巨大的冲击,通过对海量数据的分析,获得巨大价值的产品和服务,或深刻的洞见。比如谷歌公司,2009年h1n1流行之时,通过检测检索词条,处理34。5亿个不同的数据模型,通过预测并与2007、2008年的美国疾控中心记录的实际流感病例进行对比后,确定了45条检索词条组合,并将其用于一个特定的数学模型后,预测结果与官方数据相关系数高达97%,这种大数据技术,以前所未有的方式,通过海量数据分析得出流感所传播的范围,为预测流感提供了一种更快速、高效的工具。
同时,虽然大数据可为人类造福、对抗病症,但这仅限于掌握这门技术而言,若不重视这种技术,当我们的对手早于我们一步构建这种数据网络之时,便是我们的灾难,想想,大数据虽核心的在于预测,当敌人通过这种手段预测我方下一步的行动,将是可怕的—比如你的.导弹将从何处发射,将飞往哪,你的军队动向、目标,总之所有一切"未来"将掌控于敌手,敌方甚至可以借此发现那些将来有"大作为"的人,从而进行渗透或扼杀,这对我们的发展无疑是致命的,所以,尽快加速大数据系统的构建进程是必须的。
对于我们国防生,也必须顺应这种发展趋势,未来的时代必将是数据极易获取,数据网络共享化的时代,通过这些数据,建立数据模型,可以准确分析并给出适合每一个人的计划,如运动量、训练强度,可以"先知、先觉",及时发现一个人的负面情绪前及时疏导,这些必将成为现实,我们必须跟进时代,做好准备,去应对大数据时代的一切!
“除了上帝,任何人都必须用数据来说话。”——这是《大数据》中出现的让人印象深刻的一句话,也是全书力图传递的信息。在数字信息时代,数据和空气一样遍布生活,对于有些人来说,数据无意义,而对于有些人来说,数据,即真相。
美国是《大数据》的主角,全书通过讲述美国半个多世纪信息开放、技术创新的历史,公共财政透明的曲折、《数据质量法》背后的隐情、全民医改法案的波澜、统一身份证的百年纠结、街头警察的创新传奇、美国矿难的悲情历史、商务智能的前世今生、数据开放运动的全球兴起,Web3·0与下一代互联网的未来图景等等,为读者一一细解数据创新给公民、政府、社会带来的种种挑战和变革。
透过全书,一个立体的美国及美国人民的思想呈现在我们面前——美国人民执著于个人隐私的保护,却又不遗余力地推动着政府信息的透明与公开。
读完此书,对生活中的数据及数据处理突然有了很大的兴趣。如果有一天,处处以数据说话,那么,政治、制度、生活将更加清明,事故、将降到最低点。
作为信息技术教师,是有必要阅读此书的!有慧根的教师将能从书中挖掘出信息技术特有的文化以及能用于教学的鲜活案例。
每天能用来阅读的时间很少,总是要等到夜深疲倦时才有空打开书本,总是在眼睛极不舒服的情况下坚持阅读,《大数据》就这样在坚持中溶入我的思想……
读完《大数据》,我才意识到这并不是一本枯燥无味的书籍。作者运用案例和讲故事的方式,把美国数据开放、收集、使用背后的立法故事、公民故事、技术故事、商业故事娓娓道来,引人入胜,令我大开眼界。
我在想,大数据概念对于教育来说会产生什么样的实用价值呢?一直以来,中国教育在研究教育的数字化,比如数字化校园,这个思路就是把我们教育的内容进行数字化,其结果指向的就是电子教材的研发或者是教学过程的数字化。美其名曰,这是教育技术的重要内涵。在教学过程中,学生的行为表现都可以被数据化,而这项研究不是任何一个专业可以深入下去的,它的专业性太强,所以我才会想到,所谓教育技术与其研究教育的数字化,不如研究教育的数据化来得实在,来的有意义。长期以来,我们并不了解教育对一个人的影响具体会如何表现,我们有的只是一个轮廓,我们也并不确定一个教师的行为对学生具体产生了哪些影响。所以,人们对教育一直有一个深深的质疑,它是不是科学的?大数据概念至少提出了关注“是什么”比“为什么”要有实际意义得多。而我们的教育恰好需要把注意力从“为什么”转移到“是什么”上面来,只有如此,才能把教育从为什么发展成“可能成为什么”上来,这会是一次思想上的革命。而对于现在地位岌岌可危的教育技术来说,把研究的重点从数字化转移到数据化上面,这才是它的出路。
如何将数据融入教学,教育者首先通过标准化全科教学处方,实现了教师授课模板和教学内容的标准化,保证每个教学过程和内容是可控的,然后结合每天的教学内容,处理好面对的数据,处理好数据,自然也就处理好了课堂的反馈,最终形成了既注重教学体验又以教学结果为导向的教学体系。
与此同时,不仅要注重课上的学生资源,在课后还要对这些资源进行跟踪处理。这与过去的教育教学显然是不同的,面对大数据时代的到来,教学有所改变是必然的。所以,无论环境怎么变换,数据如何复杂,我们都不能不去改变自己的教学去迎合将来的这个大数据时代。
舍恩伯格的《大数据时代》,让我重新审视了"大数据"这个在信息时代异军突起的热点词汇,作为信息安全专业的我,对大数据这个词本身有着更多的热忱。
在网络上搜索到的解释是:"大数据",或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。特点:数量、速度、品种、真实性。
而舍恩伯格认为,大数据并不能定义一个确切的概念。他提到"大数据是人们获得新的认知,创造新的价值的源泉;大数据还是改变市场、组织机构,以及政府和公民关系的方法。"这是一种更具有人文色彩和社会意义的诠释。
本书中,主要从三个方面论述,即思维变革、商业变革和管理变革。而舍恩伯格更是着重阐明三大观点:
一、更多:不是随机样本,而是全体数据。
二、更杂:不是精确性,而是混杂性。
三、更好:不是因果关系,而是相关关系。
对于观点一,我不敢苟同,毕竟大数据的实现需要一定的技术支持,而显然,现在这种技术还不够成熟,同时一些简单的事情运用大数据反倒是问题更加复杂化,因此这种大叔据的繁杂处理方式更适用于一些特定的情况,比如商业预测,人类dna的研究等。
而对第二种观点,我是十分赞同舍恩伯格所说的"大数据的简单算法比小数据的简单算法有效"。在计算机行业迅速发展中,一种新的简单可行的算法的出现,远没有计算机在运算速度和存储容量的发展快,而大数据算法似乎更能迎合这种大趋势。
观点三中提到的相关关系在大数据中可是重量级的,它能较快找到事物规律和对应的解决措施,当然,也不能完全忽视因果关系,毕竟人们在思维上更能够接受因果关系分析出的结果,而大数据预测的需要人们慢慢的适应才能接受。当我们完成相关关系的分析而又不满足于只知道"是什么"的时候,我们就可以转而研究"为什么"了,毕竟问题的根本在于因果。而舍恩伯格的全体数据和相关关系是大数据时代下的一种捷径。
但是在信息时代,信息安全问题的日趋凸显,数据独裁与隐私保护之间的矛盾更是立于风口浪尖,成为众矢之的,舍恩伯格在本书的最后章节曾试图寻找一种解决方式来摆脱这一种困境,但最终没能做到,但是他提出"大数据并不是一个充斥着算法的和机器的冰冷世界,人类的作用仍无法被完全代替。"这里表明人在数据时代同样的重要,数据是为人类服务的,也就该人类驱使下完成相应的目的。
在这样的大环境下,常引起我更多的思考和担忧。
大数据时代对于我们同是机遇与挑战,一些国家已开始步入大数据时代的行列,并在各个领域开始研究和使用。而对于我国庞大的人口,以及较大的领土面积,都可以在大数据时代为我们提供数据的保障,而能否面临挑战,在大国之间的新一轮角色角逐间崭露头角,我们更需要解决技术等方面的问题,更应在政策上逐步开放各领域的数据,保证数据来源、权限等问题得到解决,不断学习先进的计算机技术,缩小与其他国家的差距。
工业化、信息化,我们都向世界交出了一份让世界不能小觑的答案;
大数据时代的数据化我们又将怎样在新的风暴中所向披靡,如果大数据时代是一种必然趋势,那这就是我们这一代人的责任,是我们新的战场!
;I. 什么是大数据时代
在大数据与深度学习中蝶化的人工智能。当代人工智能离不开大数据和深度学习算法。我们先来了解什么是大数据,大数据的本质是什么,在大数据时代我们应该如何应对?
当我们谈论数据的时候我们在谈什么?在大部分人的日常印象中,数据代表的可能是每月水电煤账单上的数字,股票k线图上的红绿指数,还有可能是电脑文件里那一堆看不懂的源代码。
人工智能眼中的数据远比这些广泛。数据的存在形式随着人类文明的发展不断改变,从最初的声音,文字,图画,数字,到电子时代的每一张图片,每一段语音,每一个视频,再到如今互联网时代人类每一次的鼠标点击,用手机时每一次的手指滑动,乃至每一下心跳和呼吸,甚至经济生产中的一切人机动作,轨迹,都已融入数据流。今天的人类已经能够将各种或大或小的事物转化为数据记录,变成我们生活的一部分。数据已经浸染我们生活的每一个细节,就如生物学家所说人体组织的一半是由微生物组成,在数字时代,我们生活的一半已然是数据。在日常生活中,数据的概念对于我们即亲近又陌生。亲近它是因为我们从小就会接触加减乘除这些最基本的数据和算法。步入社会后也在与各种文件报表账单打交道。与此同时,当面对高科技产品中各种关于内存,分辨率等时髦又复杂的数据是,我们又觉得不了解它们甚至没意识到它们的存在。随着大数据,机器算法和人工智能的理念相继到来,这种陌生感会越发加深。
那么数据生活距离我们遥远吗?正相反,数据与我们日常生活的联系从未如此紧密过,从没有像今天如此活跃,具体的记录着人类与世界。从最初的计算机,摄像头到家用计算机,智能手机,再到大数据和人工智能,我们不断升级采集和利用数据的方式。而现在,从一辆车的每日碳排放量统计到全球气温的检测,从预测个人在网上喜好分析到总统选举时投票趋势的预测,我们都可以做到。数据将人与人,人与世界连接起来,构成一张繁密的网络,每个人都在影响世界,又在被他人影响着。传统的统计方法已经无法处理这种相互影响的数据,这么办?答案是让机器自己来处理数据,从数据中习得知识。这便是当代人工智能的本质。与传统的数据记录定义不同,这种数据是有“生命”的。它更像是我们身体的一种自然延伸:聆听我们的声音,拓宽我们的视野,加深我们的记忆,甚至组成一个以数据形式存在的“我”。
J. 什么是大数据时代
大数据时代是指利用相关算法对海量数据的处理与分析、存储,从海量的数据中发现价值,服务于生活与生产。在餐饮、电信、金融、娱乐、体育等领域都能够感受到大数据对各行各业带来的影响。
所谓的大数据时代,从字面意义上就不难理解,数据非常大,信息量比较庞大,这也是互联网迅速发展所带来的改变。仅从通讯上面我们就能够看出来,以前的2G、3G就能够满足人们使用,到后来的4G,网络的发展,人们能够通过互联网获取的信息越来越多,现在又开始推出5G,大数据的时代,毕竟容纳和接受更多的信息。
思维变革
当数据的处理技术发生翻天覆地的变化时,大数据时代,我们的思维也要变革。
第一个思维变革:利用所有的数据,而不再仅仅依靠部分数据,即不是随机样本,而是全体数据。
第二个思维变革:我们唯有接受不精确性,才有机会打开一扇新的世界之窗,即不是精确性,而是混杂性。
第三个思维变革:不是所有的事情都必须知道现象背后的原因,而是要让数据自己“发声”,即不是因果关系,而是相关关系。