⑴ 《数据之巅大数据革命,历史、现实与未来》txt下载在线阅读全文,求百度网盘云资源
《数据之巅》(涂子沛)电子书网盘下载免费在线阅读
链接:https://pan..com/s/15rX8nQukiy08Nlbr-8N9Fg
书名:数据之巅
作者:涂子沛
豆瓣评分:8.4
出版社:中信出版社
出版年份:2014-5-1
页数:368
内容简介:
《数据之巅:大数据革命,历史、现实与未来》从美国建国之基讲起,通过阐述初数时代、内战时代、镀金时代、进步时代、抽样时代、大数据时代的特征,系统梳理了美国数据文化的形成,阐述了其数据治国之道,论述了中国数据文化的薄弱之处,展望了未来数据世界的远景。
“尊重事实,用数据说话”,“推崇知识和理性,用数据创新”,作者不仅意在传承黄仁宇“数目字”管理的薪火,还试图把数据这个科技符号在中国转变为文化符号,形成一种文化话语体系。大数据正在撬动中国的制度创新、科技创新。
作者简介:
涂子沛,江西吉安人,现居美国硅谷。2012年其著作《大数据》在中国社会开大数据之先河,引发了大数据战略、数据治国和开放数据的讨论,历史学家许倬云先生盛赞其“为华文世界开创了一个重要话题”。本书为作者第二本著作,全书对大数据追根溯源,提出当前信息技术的发展,已经让中国获得了后发优势,中国要在大数据时代的全球竞争中胜出,必须把大数据从科技符号提升成为文化符号,在全社会倡导数据文化。
作者本科毕业于华中科技大学计算机系,研究生毕业于中山大学和卡内基梅隆大学,获公共管理硕士和信息科学硕士学位。
⑵ 涂子沛大数据读后感1800字
进入2012年大数据一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新,人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者消费浪潮的到来。“大数据”的运用在各个领域发挥着前所未有的重要作用,渗透到了当今每一个行业和业务职能领域,成为重要的生产因素,并对人类的数据驾驭能力提出了更新的挑战。
一、传统的信息格局被打破
不是我不明白,这世界变化快。2000年还是一张软盘打天下的时代,短短十多年光景,硬盘的存储容量已从4GB、16GB、32GB迅速攀升到1TB(相当于1024GB的容量)。原来仅有1.44MB的软盘在当时感觉存储容量还是蛮大的,到现在硬盘容量蹿升至1TB了,反而感觉存储空间捉襟见肘,到底是哪里出现了问题呢?1965年英特尔的创始人之一戈登摩尔考察了计算机硬件的发展规律,提出了著名的摩尔定律。该定律认为,同一个面积集成电路上可容纳的晶体管数目,一到两年将增加一倍,换句话说,计算机硬件的处理速度和存储能力,一到两年将提升一倍。这一定律,得到验证。
大数据!一语惊醒梦中人,大数据时代已经悄然来临。随着社交网络的逐渐成熟,移动宽带迅速提升,云计算、互联网应用更加丰富。更多的传感设备、移动终端接入到网络,由此产生的数据及增长速度迅速攀升。那么什么是大数据呢,正如IBM总结的那样:“大量化(Volume)、多样化(Variety)和快速化(Velocity)”就是“大数据”的显著特征。
二、管理法则:质量是数据时代的根本
数据能满足其既定的用途,它才有质量。如果不能满足既定的目标和用途,就谈不上质量。换句话说,数据的质量不仅取决于它本身,还取决于它的用途(引致数据库专家杰克.奥尔森)。
随着网络的出现,政府开始在网上发布信息和数据,对政府而言,是一个很大的挑战,因为数据一经政府发布,往往被视为权威,对社会的各个领域都可能产生重大的影响。任何一份通过网络发布的信息,面对的都不是一定特定群体,而是全体国民,如果政府发布数据的质量不可靠,将受到频繁的、大范围的质疑,特别是一些可以会影响到公共政策和行业管制标准的数据,将引起巨大的争议。
例如:单位奶制品中蛋白质含量、菌落总数应该是多少 ?饮用水里能混杂多少含量的微量元素?新鲜蔬菜能带有多少指标的杀虫剂残留?工厂排放的废气、汽车的尾气以及车间的通风条件都要符合怎样的标准等等,这些标准,都是数据。随着社会的发民、科学的进步,这些标准越来越多越来越细,每一个都和国民生活和经济发展息息相关。所以政府在网上发布数据,必须慎之又慎,保证质量。
三、大数据在各领域中的价值表现
1、数据竞争:企业赢利之道
企业以“低成本、高效率”的方式来开展公司的业务,而要做到“低成本、高效率”的运营以及决策正确,企业必须广泛推选以事实为基础的决策方法、大量使用数据分析来优化企业的各个运营环节,通过基于数据的优化和对接,把业务流程和决策过程当中存在的每一分潜在的价值都“挤”出来,从而节约成本,战胜对手,在市场上幸存。这种竞争,就是一种基于数据的竞争。
已经有越来越多令人信服的证据表明:只要实施正确的政策和激励,大数据将成为竞争的关键性基础,并成为下一波生产率提高、创新和为消费者创造价值的支柱。信息时代的竞争,不是劳动生产率的竞争,而是知识生产率的竞争。数据,是信息的载体、是知识的源泉,当然也就可以创造价值和利润,可以预见,基于知识的竞争,将集中表现为基于数据的竞争,这种数据竞争,将成为经济发展的必然。
2、通讯、电信、商务智能、互联网的逐步演变
近年来,随着大数据的迅猛增加,各个行业、政府部门都在尝试“用数据来决策”、“用数据来管理”、“用数据来创新”,在这个过程中,涌现了一大批既务实管用,又令人耳目一新的做法和应用。
回顾历史,我们从广播的年代到电视的年代再到本世纪初互联网的年代,从音频对话到可视电话,数据技术一直在我们的生活中扮演重要的角色,互联网出现之后,就交流和互动而言,广播和电视无疑相形见绌。
“大数据”可能带来的巨大价值正渐渐被人们认可,它通过技术的创新与发展,以及数据的全面感知、收集、分析、共享,为人们提供了一种全新的看待世界的方法。
四、总结
涂先生从数据本身的革命、社会科学的革命、企业管理的革命、社会管理的革命四个方面深刻阐述了大数据的重要意义,以最前沿的视野、直接的解读和剖析为我们理清了《大数据》一书的脉络和精髓,为我们如何能更好地阅读、理解、领会《大数据》一书的精神实质提供了很好的帮助,让我们意识到:大数据的时代,是不可逃避的。
涂子沛大数据读后感二:读涂子沛的《大数据》有感
首先说下《大数据》这本书好的地方就是将大数据变化为一本科普读物,不是讲大数据的关键技术和具体实现,而更多的是围绕美国政府基于数据的管理历史线条展开,让大家更加容易理解大数据在政府执政和公共事务管理中发挥的作用,所以我看完后最大的感觉就是关注智慧城市的相关人员完全有必要阅读该书,会对以后在智慧城市的管理和建设中如何更好的理解大数据,应用大数据,发挥大数据本身的业务价值有更好的理解。
为何近几年出现大数据,最重要的还是随着信息技术和互联网,管理的精细化,全球化和社交圈扩大,数据呈现了指数级的增长。2009年美国的数据,离散制造业966PB,政府848PB,传媒行业715PB,这是麦肯锡2011年出版的一份报告《大数据:下一代创新,竞争和生产率的前沿》里面的一个估算。正是由于数据指数级的增长,对数据的开放,信息自由,数据的采集,数据的分析和处理,预测和决策提出了更高的要求。
信息自由,一为信息公开,二为信息发布。公开是政府和某一社会特定主体的关系,是点对点的;而信息发布是政府和社会的关系,是点对面的。信息自由法已经成为美国不可缺少的一个基本法案,只有信息自由才谈得上进一步的数据开放和数据共享。
我们信奉上帝,除了上帝任何人都要以数据说话。信息技术发展,数据指数级增长,已经彻底改变了政府,社会,商业群体的决策方法。需要的是形成一种数据驱动的决策方法,数据治国,需要基于实证的事实而非简单的`意识形态。而真正要让数据能够上升到决策层面,首先需要的就是数据大范围采集,数据抽样,数据测量和数据质量管理。另外数据驱动和事件驱动是两种模式,数据驱动强调的是历史和预测,而事件驱动强调的是实时和响应。大数据有一个维度专门是指速度和快速响应,更需要考虑事件驱动和数据驱动融合。
帝国法则,详细讲述了数据的收集法则,使用法则,发布法则和管理法则。数据能够满足既定的用途,它才有质量。如果不能满足既定的目标和用途,就谈不上质量。换句话说,数据的质量不仅取决于它本身,还取决于它的用途。数据质量的问题涉及到数据收集,使用,发布等所有过程的问题。数据质量管理要有标准,有流程,有救助机制。
从软件的开源到数据的开放,我们过渡到一个新的世界,可以讲数据开放式本身的另外一个重点。在这个新的世界里面,数据远远比软件更加重要。从2004年以来,美国一直在进行数据开放运动,联邦政府也专门家里了数据开放站DataGov,其主要目标就是通过数据开放,通过鼓励新的创意,让数据走出政府,得到更多的创新型应用。从而进一步巩固政府透明化,民主化和政府效能。
数据之争涉及到原始数据采集,数据质量,数据安全,数据粒度,数据价值,数据虚实多个维度。而DataGov不仅仅开放了原始数据,地理数据,还包含了数据分析工具的开放。数据开放为创新提供了无穷的燃料,因为创新型应用,数据的能量将逐层放大。
预测未来最好的方法,就是创造未来。而数据最大的价值仍然在预测上面,在解决了数据开放,数据采集,数据质量管理,数据处理后,最重要的作用就是基于数据进行科学的预测和决策。数据竞争将是企业赢之道,一些企业已经将他们商业活动的每个环节放在了数据收集,分析和行动的能力上。
涂子沛大数据读后感三:读涂子沛《大数据》有感
7月的一天,我有幸拿到了涂子沛的《大数据》一书,几个月来认真翻阅了好几遍,并查阅了许多相关的文章,也让我产生了写下这篇读后感的冲动。
。
我们处于大数据时代
当今的时代是一个信息的时代,是一个数据爆炸的时代。信息是数据的内容,数据是信息的载体。随着电脑、网络的普及,搜索引擎技术的进步以及云时代的来临,上至国家下至个人,无不为数据所包围,信息无处不在、数据无处不在。难以想象离开数据、离开数据管理,我们这个社会将会是什么样子。
那么大数据时代到底有多大呢?我们知道计算机用二进制存储和处理数据,一位是指一个二进制数位——0或1,这是存储信息的逻辑单元。一个字节有8位,再往上是KB(1KB是210字节)、MB(1MB是220字节)、GB(1GB是230字节)、TB(1TB是240字节)、PB(1PB是250字节)、EB(1EB是260字节)、ZB(1ZB是270字节)、YB(1YB是280字节)。但这究竟是多大的数据呢,我们还是难以想象。有人统计过将1TB的数据全部打印出来,需要用5000万个四开门的书柜去储藏。这是多么庞大的一个数啊,而这只是1TB——240个字节。而仅全世界消费者一年产生的数据就有6000PB,全世界企业一年产生的数据有7000PB。截至2010年,人类产生的数据为1。2ZB,且数据每年以指数级增长,每两年我们拥有的数据将翻一番。
在大数据时代,数字电视、手机、移动互联网统治了我们。截至2012年,中国手机网民数突破4。2亿;2013年中国超过美国成为最大的智能手机市场;2013年2月微信用户数突破4亿,到9月,微信用户达到5亿,微信用户正在以每6个月增长1亿用户的速度增长;95%的智能手机用户睡前玩手机。
“棱镜门”事件主角爱德华斯诺登一时间成为全球关注的目标,网络时代何处安放我们的隐私?美国间谍卫星精度达到了5至10厘米,当今社会我们每个人近乎“透明”!
大数据时代给我们带来什么。
1965年,英特尔创始人之一戈登摩尔考察了计算机硬件的发展规律,提出了著名的摩尔定律。该定律认为,同一个面积集成电路上可容纳的晶体管数目,一到两年将增加1倍,也就是说,其性能将提升1倍。换句话说,计算机硬件的处理速度和存储能力,一到两年将提升1倍。这一定律揭示了信息技术进步的速度。
数据的爆炸是“三维”的,是立体的,这三个维度,主要表现在:同一类型的数据量在快速增长;数据增长速度在加快;数据的多样性,即新的数据来源和新的数据种类在不断增长。
任何一件事物,都有一个从量变到质变的过程。在当前这个数据爆炸的时代,数据带给我们什么呢?我想最重要的是带来了思维模式的转变。转变了我们一直以来以因果逻辑思维的模式,变成了相互关系的逻辑思维。举一个例子,在不久的将来我们完全可以通过数据分析,预判出一次地震的时间、地点、强度,但我们不是通过分析地壳运动而来的,而是通过相互关系的庞大的数据分析而来的。
2008年的冰灾,当时的广州火车站滞留了25万人,这个数据是通过当时在这个区域的手机使用数统计出来的,与后期的最终统计基本吻合。大数据使我们开始了一次全新的探索,而探索的意义不在于发现新大陆,而在于发现新视角。
大数据时代给企业带来了什么。
数据挖掘是一种知识产生的过程,从中产生创新、产生管理、产生推动社会变革的理论与实践。
沃尔玛公司是美国的一家世界性连锁企业,以营业额计算,为全球最大的公司。沃尔玛一年产生的数据有2500TB。沃尔玛公司通过对大量历史数据的分析发现,年轻爸爸去超市购买婴儿尿布会顺便买点啤酒犒劳自己。因此,沃尔玛推出了尿布与啤酒搭售的营销策略,使销售量增长。
纽约,美国最大的城市及第一大港,拥有810多万人口,其36%为外国移民,人口使用约170种语言。1990年,纽约市共发生了凶杀案2245宗,1995年下降到1171宗,2009年下降到466宗,创下50年最低。纽约是如何实现这个成绩的呢?原来纽约通过把20年的犯罪数据和交通数据整合,开发出了“数据驱动的警务管理”,发现交通事故高发地带,也是犯罪活动的高发地带,而且两者的高发时间段也同样吻合。这就将警察以往“亡羊补牢”的工作模式转变为“守株待兔”的工作模式,取得了巨大的成绩。
大数据及其分析,将会在未来10年改变几乎每一个行业的业务功能。任何一个组织,如果早一点着手大数据工作,都可以获得明显的竞争优势。用另一本类似著作《大数据时代》的作者维克托的一句话:“大数据是未来,是新的油田、金矿。”
当前我们的企业每天获得大量的生产、营销、办公数据,如何将数据分析应用其中是时代赋予我们的挑战。如何实现粗放型向精细化转变,大数据为我们的企业提升管理效率、提高服务水平提供了有利平台。
世界每天都在变,唯一不变的是变化。大数据将是传统行业的掘墓者,盛极一时的柯达倒闭了,微软收购了诺基亚……我们的企业处在这样一个变革的社会,应该何去何从,值得我们每一个人深思。
⑶ 数据之巅的书评
★涂子沛先生开启了一道大门,我相信,后面会有更多的发展,让大家进入这一个重要的现代文化园地。
——许倬云 著名历史学家、美国匹兹堡大学历史系荣誉讲座教授
★在《数据之巅》这本书中,涂先生跳到了哲学思考的层面,以统计学的社会应用为切入点,解构数据文化在美国政治、经济乃至军事发展上起到的关键作用,一环扣一环,构思精巧,故事生动,逻辑清晰,读起来实在“解渴”。感谢涂先生的智慧,为时代贡献了一部杰作!
——郭为 神州数码控股有限公司董事局主席
★涂子沛先生的《数据之巅》通过追溯梳理美国的数据历史、展望人类的数据未来,给中国社会提出了一个数据时代的新命题——如何构建数据文化?本书引人入胜、发人深思,是不可不读的好书。——马蔚华 招商银行前行长
★数据本无大小,但运用数据的立场却分出大小,是谓大数据。数据表示的是过去,但表达的是未来,所以观察数据需要有历史观。涂子沛先生的这本新作《数据之巅》以大历史、大数据、大社会、大进步的格局,通过数据将遥远拉近,将悠久缩短,将巨大归聚,将过程简直。无论你从事何业或研究何题,都值得认真阅读这部巅峰之作。
——朱小黄 中信银行行长、中信集团监事长
★大数据是互联网金融的基础支柱。互联网金融是云计算、大数据、社交网络这个移动互联大时代里的小时代。时代潮流,浩浩荡荡!涂子沛先生的大数据系列著作,带您观时代大潮!——肖风 通联数据董事长、万向信托董事长
★涂子沛先生《数据之巅》一书的历史高度和现实意义,超出了他的《大数据》。如果说他上部书开启了中国人对大数据的认识,此书则从历史的角度来说明,对数据的理解和掌握是人类文明进步的标志。中国人在“初数时代”是被动的、落后的,黄仁宇在他的名著《万历十五年》中也将中国明朝未能走向资本主义归结为中国人不能在“数目字上管理国家”。在新世纪的大数据时代,我们能否成为参与者甚至领导者?子沛这本书中有诸多可贵的思考和启示,我向读者推荐。
——田溯宁 中国宽带资本董事长
★涂先生深思熟虑,用语殷殷,穿行在中美两国的历史中,努力发掘各个大数据改变观念,改造社会,改革制度的故事,无论人与事件,都是栩栩如生,发人深省。这本书让我们有目标有信心,也给我们创新的无限空间。
——王巍 中国金融博物馆理事长
★大数据的江湖有两派,国家治理派和产业升级派。涂子沛先生无疑是国家治理派的宗师,这本书在美国200多年的政界商海、刀光剑影中勾勒出雄浑的数据思维、文化、价值观和方法论。临到尾处,我的期待愈来愈强。他的第一本书《大数据》在通篇的历史视角、西方视角后,煞费苦心附上一篇“挑战中国”的尾声,把人拉回当下、令人掩卷忧思;这次果不其然,子沛以整整一章的浓墨重彩,挑战了“智慧城市”这一兼具进行时和未来时的话题,而当涉及中国元素时,子沛的行文中出现了暖色调,那种欣赏和希冀让人宽慰之极、意犹未尽!期待《数据之巅》之后,山不穷,峰更高。——吴甘沙 英特尔中国研究院院长
★涂子沛先生已经成为中国大数据和数据分析领域最前沿的思想者和专家,如果您想了解大数据的历史、现实和未来,这本书将是您的必读书目。
——托马斯·H·达文波特 巴布森学院教授,麻省理工学院数字商务中心研究员
⑷ 大数据的现实意义
问题一:大数据的现实意义 举个例子 你在某宝买了件内衣 马云就能知道你的胸围 你的嗜好(蕾丝还是)你的住址 电话 姓名等等一系列问题
问题二:大数据有哪些重要的作用 主要由以下三点作用:
第一,对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态,这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化,将结果反馈到上述应用中,将创造出巨大的经济和社会价值。
第二,大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域,大数据将对芯片、存储产业产生重要影响,还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域,大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。
第三,大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动” 转变“数据驱动”。
问题三:大数据真的有意义么 研究表明,大数据是继传统IT之后下一个提高生产率的技术前沿和信息服务业发展的重要推动力。大数据的使用将成为未来提高竞争力、生产力、创新能力以及创造消费者盈余的关键要素。
大数据应用能够发挥重要的经济作用,不但有利于私人商业活动,更有利于国民经济和公民。数据可以为世界经济创造重要价值,提高企业和公共部门的生产率与竞争力,并为消费者创造大量的经济剩余。
大数据及其开发利用能够催生新的产业形态,拓展成为战略性新兴产业的重要组成部分。大数据的生产、整合、开发利用具有广泛的高附加值,可以形成和应用于各行业的关键发现,大数据的有效利用可以创造巨大的潜在价值,许多行业和承担业务职能的组织可以利用大数据提高人力、物力资源的分配和协调能力,减少浪费,增加透明度,并促进新想法和新见解的产生。
在当下这个信息爆炸的时代,大数据是未来的趋势。ITjob官网有关于大数据应用实例的文章和介绍,很多论坛和贴吧也有关于大数据的讨论,你可以去具体了解下大数据在生活中的应用。以及未来的发展前景,再来思考有没有意义。
问题四:什么是大数据,大数据为什么重要,如何应用大数据 空谈数据没有太大意义,要看数据的主要方向是什么。1、从技术应用方向来说,我们的数据主要做传播指导;2、数据研究过程中我们的数据主要来自互联网的公共数据(媒体数据、自媒体数据、企业自营的媒体数据),通过数据解决用户洞察问题、传播效果问题、竞争情报获取的问题,3、我们主要是在大数据的维度上的研究上,我们的维度更多更宽广,维度的多少决定了效果。
问题五:何谓大数据?大数据的特点,意义和缺陷. 大数据技术(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
特点:
1.数据量大;
2.数据类型多;
3.数据处理实时性强;
4.数据真实性。
意义:大数据的意义在于通过对大量数据进行分析从而对核心价值进行预测。
缺陷:对处理能力要求高,存在隐私安全问题。
问题六:什么是大数据,大数据为什么重要,如何应用大数据 读读这本书吧。。
驾驭大数据 驾驭未来
文/林海龙 虎嗅网友
大数据的流行,也引发了图书业大数据出版题材的升温。去年出版的《大数据》(涂子沛著)是从数据治国的角度,深入浅出的叙述了美国 *** 的管理之道,细密入微的阐释了黄仁宇先生”资本主义数目式管理“的精髓。最近人民邮电出版社又组织翻译出版了美国Bill Franks的《驾驭大数据》一书。
该书的整体思路,简单来说,就是叙述了一个”数据收集-知识形成-智慧行动“的过程,不仅回答了”what“,也指明了”how“,提供了具体的技术、流程、方法,甚至团队建设,文化创新。作者首先在第一章分析了大数据的兴起,介绍了大数据的概念、内容,价值,并分析了大数据的来源,也探讨了在汽车保险、电力、零售行业的应用场景;在第二章介绍了驾驭大数据的技术、流程、方法,第三部分则介绍了驾驭大数据的能力框架,包括了如何进行优质分析,如何成为优秀的分析师,如何打造高绩效团队,最后则提出了企业创新文化的重要意义。整本书高屋建瓴、内容恣意汪洋、酣畅淋漓,结构上百川归海,一气呵成,总的来说,体系完备、内容繁丰、见识独具、实用性强,非常值得推荐,是不可多得的好书!
大数据重要以及不重要的一面
与大多数人的想当然的看法不同,作者认为“大数据”中的”大”和“数据”都不重要,重要的是数据能带来的价值以及如何驾驭这些大数据,甚至与传统的结构化数据和教科书上的认知不同,“大数据可能是凌乱而丑陋的”并且大数据也会带来“被大数据压得不看重负,从而停止不前”和大数据处理“成本增长速度会让企业措手不及”的风险,所以,作者才认为驾驭大数据,做到游刃有余、从容自若、实现“被管理的创新”最为重要。在处理数据时,作者指出“很多大数据其实并不重要”,企业要做好大数据工作,关键是能做到如何沙里淘金,并与各种数据进行结合或混搭,进而发现其中的价值。这也是作者一再强调的“新数据每一次都会胜过新的工具和方法”的原因所在。
网络数据与电子商务
对顾客行为的挖掘早已不是什么热门概念,然而作者认为从更深层次的角度看,下一步客户意图和决策过程的分析才是具有价值的金矿,即“关于购买商品的想法以及影响他们购买决策的关键因素是什么”。针对电子商务这一顾客行为的数据挖掘,作者不是泛泛而谈,而是独具慧眼的从购买路径、偏好、行为、反馈、流失模型、响应模型、顾客分类、评估广告效果等方面提供了非常有吸引力的建议。我认为,《驾驭大数据》的作者提出的网络数据作为大数据的“原始数据”其实也蕴含着另外一重意蕴,即只有电子商务才具备与顾客进行深入的互动,也才具有了收集这些数据的条件,从这点看,直接面向终端的企业如果不电子商务化,谈论大数据不是一件很可笑的事?当然这种用户购买路径的行为分析,也不是新鲜的事,在昂德希尔《顾客为什么购买:新时代的零售业圣经》一书中披露了商场雇佣大量顾问,暗中尾随顾客,用摄影机或充满密语的卡片,完整真实的记录顾客从进入到离开商场的每一个动作,并进行深入的总结和分析,进而改进货物的陈列位置、广告的用词和放置场所等,都与电子商务时代的客户行为挖掘具有异曲同工之妙,当然电子商务时代,数据分析的成本更加低廉,也更加容易获取那些非直接观察可以收集的数据(如信用记录)。
一些有价值的应用场景
大数据的价值需要借助于一些具体的应用模式和场景才能得到集中体现,电子商务是一个案例,同时,作者也提到了车载信息“最初作为一种工具出现的,它可以帮助车主和公司获得更好的、更有效的车辆保险”,然而它所能够提供的时速、路段、开始和结束时间等信息,对改善城市交通拥堵具有意料之外的价值。基于GPS技术和手......>>
问题七:互联网大数据有哪些好处多 大数据是什么?为什么要使用大数据?大数据有哪些流行的工具?本文将为您解答。
现在,大数据是一个被滥用的流行词,但是它真正的价值甚至是一个小企业都可以实现。
通过整合不同来源的数据,比如:网站分析、社交数据、用户、本地数据,大数据可以帮助你了解的全面的情况。大数据分析正在变的越来越容易,成本越来越低,而且相比以前能更容易的加速对业务的理解。
大数据通常与企业商业智能(BI)和数据仓库有共同的特点:高成本、高难度、高风险。
以前的商业智能和数据仓库的举措是失败的,因为他们需要花费数月甚至是数年的时间才能让股东得到可以量化的收益。然而事实并非如此,实际上你可以在当天就获得真实的意图,至少是在数周内。
为什么使用大数据?
数据在呈爆炸式的速度增长。其中一个显著的例子来自于我们的客户,他们大多使用谷歌分析。当他们分析一个长时间段数据或者使用高级细分时,谷歌分析的数据开始进行抽样,这会使得数据的真正价值被隐藏。
现在我们的工具Clickstreamr可以收集点击级的巨量的数据,因此你可以追踪用户在他们访问路径(或者访问流)中的每一个点击行为。另外,如果你加入一些其他的数据源,他就真正的变成了大数据。
更完整的解析
大数据大数据并不仅仅是大量的数据。他的真正意义在于根据相关的数据背景,来完成一个更加完整的报告。举个例子,如果你把你的CRM数据加入到你网站的数据分析当中,你可能就会找到你早就知道的高价值用户群。她们是女性,住在西海岸,年龄30至45,花费了大量的时间在Pinterest和Facebook。
现在你已经被这些知识武装起来了,那就是如何有效的设定和获取更多高价值的用户。
类似Tableau和谷歌这样的公司给用户带来了更加强大的数据分析工具(比如:大数据分析)。Tableau提供了一个可视化分析软件的解决方案,每年的价格是2000美金。谷歌提供了BigQuery工具,他可以允许你在数分钟内分析你的数据,并且可以满足任何的预算要求。
大数据是什么?
由于大数据往往是一个混合结构、半结构化和非结构化的数据,因此大数据变得难以关联、处理和管理,特别是和传统的关系型数据库。当谈到大数据的时候,高德纳公司(Gartner Group,成立于1979年,它是第一家信息技术研究和分析的公司)的分析师把它分成个3个V加以区分:
量级(Volume):大量的数据
速率(Velocity):高速的数据产出
多样性(Variety):多种类型和来源的数据。
正如我们所说,大部分的企业每一天在不同的领域都在产出大量的数据。这里给出一组样本数据的来源及类型,他们都是企业在做大数据分析时潜在的收集和聚合数据的方式:
网站分析
移动分析
设备/传感器数据
用户数据(CRM)
统一的企业数据(ERP)
社交数据
会计系统
销售点系统
销售体系
消费者数据(例如益佰利的数据、邓氏商联的数据或者普查数据)
公司内部电子表格
公司内部数据库
位置数据(空间位置、GPS定位的位置)
天气数据
但是针对无限的数据来源,不要去做太多事情。把焦点放在相关的数据上,并且从小的数据开始。通常以2-3种数据源开始是一个好的建议,比如网站数据、消费者数据和CRM,这些会让你得到一些有价值的见解。在你最初进入大数据分析之后,你可以开始添加数据源来促进你的分析,并且公布更多的分析结果。
想要获得更多关于大数据细节的知识,可以去查阅 *** 的大数据词条。
大数据的好处
大数据提供了一种识别和利用高价值机会的前瞻性方法。如果你想,那么大数据可以提供如......>>
问题八:大数据时代,大数据概念,大数据分析是什么意思? 世界包含的多得难以想象的数字化信息变得更多更快……从商业到科学,从 *** 到艺术,这种影响无处不在。科学家和计算机工程师们给这种现象创造了一个新名词:“大数据”。大数据时代什么意思?大数据概念什么意思?大数据分析什么意思?所谓大数据,那到底什么是大数据,他的来源在哪里,定义究竟是什么呢?
一:大数据的定义。
1、大数据,又称巨量资料,指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 2、大数据技术,是指从各种各样类型的大数据中,快速获得有价值信息的技术的能力,包括数据采集、存储、管理、分析挖掘、可视化等技术及其集成。适用于大数据的技术,包括大规模并行处理(MPP)数据库,数据挖掘电网,分布式文件系统,分布式数据库,云计算平台,互联网,和可扩展的存储系统。
互联网是个神奇的大网,大数据开发也是一种模式,你如果真想了解大数据,可以来这里,这个手机的开始数字是一八七中间的是三儿零最后的是一四二五零,按照顺序组合起来就可以找到,我想说的是,除非你想做或者了解这方面的内容,如果只是凑热闹的话,就不要来了。
3、大数据应用,是 指对特定的大数据 *** ,集成应用大数据技术,获得有价值信息的行为。对于不同领域、不同企业的不同业务,甚至同一领域不同企业的相同业务来说,由于其业务需求、数据 *** 和分析挖掘目标存在差异,所运用的大数据技术和大数据信息系统也可能有着相当大的不同。惟有坚持“对象、技术、应用”三位一体同步发展,才 能充分实现大数据的价值。 当你的技术达到极限时,也就是数据的极限”。大数据不是关于如何定义,最重要的是如何使用。最大的挑战在于哪些技术能更好的使用数据以及大数据的应用情况如何。这与传统的数据库相比,开源的大数据分析工具的如Hadoop的崛起,这些非结构化的数据服务的价值在哪里。
二:大数据的类型和价值挖掘方法1、大数据的类型大致可分为三类:1)传统企业数据(Traditionalenterprisedata):包括 CRM systems的消费者数据,传统的ERP数据,库存数据以及账目数据等。2)机器和传感器数据(Machine-generated/sensor data):包括呼叫记录(CallDetail Records),智能仪表,工业设备传感器,设备日志(通常是Digital exhaust),交易数据等。3)社交数据(Socialdata):包括用户行为记录,反馈数据等。如Twitter,Facebook这样的社交媒体平台。2、大数据挖掘商业价值的方法主要分为四种:1)客户群体细分,然后为每个群体量定制特别的服务。2)模拟现实环境,发掘新的需求同时提高投资的回报率。3)加强部门联系,提高整条管理链条和产业链条的效率。4)降低服务成本,发现隐藏线索进行产品和服务的创新。
三:大数据的特点业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的特征。具体来说,大数据具有4个基本特征:1、是数据体量巨大数据体量(volumes)大,指代大型数据集,一般在10TB规模左右,但在实际应用中,很多企业用户把多个数据集放在一起,已经形成了PB级的数据量;网络资料表明,其新首页导航每天需要提供的数据超过1.5PB(1PB=1024TB),这些数据如果打印出来将超过5千亿张A4纸。有资料证实,到目前为止,人类生产的所有印刷材料的数据量仅为200PB。2、是数据类别大和类......>>
问题九:举例说明大数据在哪些方面发挥着重要作用 大数据是信息技术与专业技术、信息技术产业与各行业领域紧密融合的典型领域,有着旺盛的应用需求、广阔的应用前景。为把握这一新兴领域带来的新机遇,需要不断跟踪研究大数据,不断提升对大数据的认知和理解,坚持技术创新与应用创新的协同共进,加快经济社会各领域的大数据开发与利用,推动国家、行业、企业对于数据的应用需求和应用水平进入新的阶段。
问题十:为什么大数据如此重要 大数据(big data),是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据 *** 。
在维克托・迈尔-舍恩伯格及肯尼斯・库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据进行分析处理。大数据的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。
对于“大数据”(Big data)研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
根据 *** 的定义,大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据 *** 。
大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘,但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。[1]
随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。《著云台》的分析师团队认为,大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapRece一样的框架来向数十、数百或甚至数千的电脑分配工作。
大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
最小的基本单位是bit,按顺序给出所有单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
意义:
有人把数据比喻为蕴[4] 藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似,大数据并不在“大”,而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言,如何利用这些大规模数据是成为赢得竞争的关键。
大数据的价值体现在以下几个方面:
1)对大量消费者提 *** 品或服务的企业可以利用大数据进行精准营销;
2) 做小而美模式的中长尾企业可以利用大数据做服务转型;
3) 面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。
⑸ 《大数据》这本书的美国作家是谁
涂子沛先生。《大数据:正在到来的数据革命》通过讲述美国半个多世纪信息开放专、技术创新的历史,以属别开生面的经典案例——奥巴马建设“前所未有的开放政府”的雄心、公共财政透明的曲折、《数据质量法》背后的隐情、全民医改法案的波澜、统一身份证的百年纠结、街头警察的创新传奇、美国矿难的悲情历史、商务智能的前世今生、数据开放运动的全球兴起,以及云计算、Facebook和推特等社交媒体、Web3.0与下一代互联网的未来图景等等,为您一一细解,数据创新给公民、政府、社会带来的种种挑战和变革。
⑹ 数据之巅读后感
细细品味一本名著后,大家心中一定是萌生了不少心得,此时需要认真思考读后感如何写了哦。你想好怎么写读后感了吗?以下是我帮大家整理的数据之巅读后感范文,仅供参考,大家一起来看看吧。
大数据,一个近年来的流行词汇,随着互联网信息技术的普及开始深入人心,又随着互联网对各类行业各种关系的颠覆和变革开始广泛普及。当越来越多的人开始对大数据无比推崇的时候,其实只是跟着趋势而已。这时候,如果能跳出来,看看这种趋势的源头和足迹,或许更容易找出一些能够指导未来的价值。在如今这个数据浪潮之中,《数据之巅》就提供了这么一个别样的视角。
要了解大数据,先得认清数据;要认清数据,先得看清数据的作用和价值。这方面,建国不过二百余年但已然是超级大国的美国无疑是最好的标本。都说美国的文明是建立在印刷术的基础上,这其实就是数据文化的基础——信息可以通过便捷的纸张与文字组合,实现一种虚拟化和抽象化,而这种抽象化很快就得到了广泛的信任。这是最早为数据创造价值准备的基础。在此之上,美国建国的先贤们考虑到了权力的分配、社会的发展等各项因素,建立了民主、共和相互制约的执政体系。事实上,所有的美好都是限制之后的产物,自由、民主和平等这人类的三大追求之间就是相互制约的关系。那么,该怎么进行有效的制约?如何让大家都能接纳?这时候,最能代表客观现实的数据就出现了。
《数据之巅》的第一部分就是这样展开的,从各种历史事件中数据的作用以及人们对数据的态度、反应、应用方式,勾勒出了数据文化的成长和成熟。解决权力分配的问题、决定改变历史的战争、制定从战略到战术的安排、考虑政治的计算以及商业层面上的利用;从搜集、统计、筛选、量化、抽样的方式方法演变到了解、安排、预测、准备、发掘、规范的效果体现,经历的历史似乎并不长,但造就的变革尤其精彩。数据其实一直都在,只在于人们是否需要它、重视它、愿意聆听它的意见……而人们往往也都在遇到了问题难以决断的时候才会想到数据这个伙伴,这也是为什么在第一部分的结尾中日本崛起的思考——二战后空前繁荣的美国工业因为遇上了供不应求的状态,自然走上了粗放型路径,冷落了相应的数据应用,而战败的日本正因为深陷困境,在快速汲取先进知识的同时也迅速接纳了数据文化,通过数据抽样的方式快速提升了质量……日本的崛起可以看作穷则思变的例子,但变革中数据的作用尤其明显。数据的优化作用由此可见一斑,书中更有很多案例,但要参透这一点,先得认识到数据的重要性才行,这可以算作是数据文化的入门吧!
可以说现实中的一切都是越用越少的,但看似虚拟的数据却越用越多。所谓大数据时代,背景正是高度发展科技能让更多的数据得以留存,这种留存和挖掘完全由机器实施,由此得到的结果也是叹为观止的。如果说科技的发展趋势已经越来越超乎我们的想象,那总有一些规律或者原则可以抓住——比如数据。书中第二部分的大数据崛起便将重点放到了当下,由此展望未来的可能性。诚然,大数据是被技术发展所推动的,但更是被重视数据的人们所推动的。
技术降低了数据获取、积累的成本,增加了计算的可能和利用的空间,但这只是一个表象。深层次需要在意的则是数据的开放,只有数据开放才有多元的整合,这需要由人来推动,而推动者必须有多元认知的思维方式、开放的心态——这是数据文化中尤为重要的一部分。如果之前我们认为智慧是属于人的,那么未来这个词将更多的形容一些别的体系,比如“智慧城市”。其实人的'智慧依靠的是学习、理解和经验,那么机器的学习靠的就是数据,还有那些我们为其规划的应用方式和我们的需要。如何确定我们的规划和需求?靠数据,更得靠能够深入人心的数据文化!
正如作者提到中国社会要将“大数据”这个科技符号转变为文化符号,因为只有文化才能真正驱动人们的成长和发展,科技只是手段而已。只有建立了数据文化,愿意尊重数据、善于整合数据、敢于发掘数据中的异动……才能正真利用好大数据。数据文化是尊重事实、强调精确、推崇理性和逻辑的文化,这种文化将是发展最重要的动力,更是最好的参考。从《数据之巅》中,隐约可以看到一条隐约的轨迹,通向未知的远方却一直步步为营,这便是数据,来自于人而胜于人。
歌德把历史称为“上帝的神秘作坊”。在徐子沛先生新作《数据之巅》的精彩演绎下,关于数据文化如何形成、数据治国理念如何深入人心的历史画卷徐徐展开,令我们再次饱览古今中外因数据成就的神奇瞬间,领略统计文史的山风水韵和数据文化的悠远回音。康德说,数字是重要的透视方式。此言不虚。
子沛先生一如既往把中国作为本书的重心和出发点。从中国历史上的吉光片羽到第一次现代意义上的人口普查,从中国数据可视化先驱人物陈正祥的执着努力到民族复兴能否量化的中国话题,这些元素无疑令中国读者感到亲切和温暖。遗憾的是,在悠久的中华文明史上,这样的“统计事件”不仅凤毛麟角,亦未能带动整个民族和社会形成用数据说话、以数据治事的风尚。即使今天,我们依然面对这样一个不容回避的事实:统计数据虽然证明了中国已经成为世界第二大经济体,在数据使用上,特别是大数据的收集、分析、应用的手段、意识、水平和能力方面,我们与美国、欧洲,甚至同处亚洲的日本,仍有不小差距。作为统计人,在享受本书呈现的统计和数据文化盛宴时,无疑更平添了一份独有的清醒与忧思。
中国需要进一步营造数据文化氛围。美国的历史,就是一部“善用数据”的历史。说数据成就了共和政治、数据终结了南方的奴隶制度,尚属见仁见智。“布兰代斯诉讼方法”及后来的汉德公式,公共预算制度的普及,统计学理论方法用于公共政策的制定,以及成本效益分析方法在美国政府的推行等,实实在在证明了数据在保障公平正义、促进进步发展、增进自由和理性方面的决定性支撑作用,体现了数据治国的基本理念。党的十八大把实现国家治理体系和治理能力的现代化作为新的奋斗目标,更加迫切需要大力弘扬建立在数据基础上的科学与理性,需要建树“尊重事实、强调精确、推崇理性和逻辑的数据文化”,需要进一步营造善用数据的社会氛围,使注重数据、使用数据真正成为一种习惯和风尚。
中国统计人要做大数据的先行者和引领者。在统计的“纯真年代”,政府统计是权威一般的存在,是统计生产的当然主导者。大数据时代,海量的网络化电子化信息使每一个人、每一个单位都可能成为信息的生产发布主体,政府统计包打天下的格局正在被打破。我们当然可以通过法律手段来“宣示主权”,但我相信大多数统计人凭着专业精神、职业尊严,将不屑于采取这么“简单而直率”的方法,而更愿意像一名“骑士”一样为荣誉而战。作为统计数据的生产者、发布者和使用者,没有人比我们更了解大数据的意义、价值和力量。“用大数据打造统计基础数据‘第二轨’”,深刻阐明了国家统计局应用大数据的战略思想和战略思维。目前,国家统计局已经与17家企业签订利用大数据战略合作框架协议,在贸易统计、价格统计、交通运输统计、农业统计等多个领域取得重要进展。我们不仅要直接应用大数据,还要在推动数据开放和共享、建立和统一相关应用标准,实施国家大数据创新驱动战略等方面,发挥应有作用。
中国统计人还要成为数据文化的倡导者和传播者。在宣传统计工作、弘扬数据文化方面,统计人有着天然的优势和便利。家喻户晓的GDP、CPI、PPI、PMI等统计拳头产品,大型的经济普查、人口普查、一套表联网直报等重要统计事件,为宣传统计、传播数据文化发挥了重要而积极的作用。我们还可以做得更好,也有理由做得更好。中国统计也要创建类似美国普查局的LEHD—工作单位和家庭住址的纵向动态系统,当超级飓风“桑迪”来袭,该系统大显神通,成功帮助纽约市政府组织救灾,并迅速对灾害影响作出准确评估。这样的统计“明星”产品,能够使人们更加信赖数据、依靠数据,推动数据融入政府管理、商业运营和社会治理以及人们的日常生活。
近年来,国家统计局在统计文化宣传方面做了大量工作,精心打造了统计网站、中国统计开放日、统计微讯微信等一系列新的统计宣传平台,政府统计的形象和公信力不断提升。今后更要以启沃公众数据意识为己任,以记录中华民族复兴的伟大进程为使命,从更大的视野,以更宏大的叙事,讲述中国的统计故事,书写中国的统计历史,把数据文化理念播撒得更广、更深、更远。
尼采在《查拉图斯特拉如是说》中有这样一句话:在有力量的地方,数字这位女主人就会生成,她更有力量。数据不仅代表“真正的事实”,还蕴藏着事物的发展规律。随着大数据时代的到来,数据资源及其开发利用正逐渐成为决定和影响各国核心竞争力的关键因素。中国不仅要做数据大国,更要成为数据强国。
我们这代统计人注定无法甘于淡泊和平凡,唯有顺应时代要求,以更先进的理念、更开放的姿态、更高超的技术积极拥抱大数据,广泛应用大数据,生产出更多更具竞争力的统计产品,才能在智能时代、智慧城市建设以及实现国家治理现代化的进程中,续写政府统计新的辉煌。
最近我读了涂子沛先生的《数据之巅》这本书,我深深的被作者的思考的深度和数据的力量所震撼。全书从数据角度出发,以美国政府历史以来“依数治国”的成功经验来阐释数据带给社会带来的挑战与变革。
进入21世纪第二个十年以来,随着互联网信息技术的普及与广泛应用,大数据时代正式到来。时代的变革意味着新的发展机遇与挑战,要想在数据浪潮当中立于不败之地,这就需要我们在精确的掌握数据之后,通过数据的创新来创造未来。
精确的掌握数据,需要从认识数据开始。简而言之,数据就是体现客观事实的表象,是客观性与抽象性有机结合的产物,容不得半点虚假。我们不能否认的是,所有的美好都是在限制之后的,而能够有效地进行限制,且又能够得到大家的一致认可客观现实,唯有那一张便捷的纸片上数据与文字的组合体,其实这就是数据文化的基础。数据创造价值准备的基础从侧面印证了中国的四大发明印刷术是西方国家文明的基础。
所谓的大数据时代就是在当下高度发展科技能让更多的数据得以保存。保存下来的数据是一种依据,更是一种工具。世间万物的发展都呈现各种各样的规律性,数量庞大且规律复杂,很难让我们掌握,但是一旦转换成数据保存之后,从数据的角度去分析规律变化的轨迹,能够很容易掌握并加以运用。而我作为基层执法工作者,运用数据进行执法,以控制数据达到预期管理预期,是这本书给予我最大的启发。
古代中国传统的执法者,是通过简单甚至带有粗暴的手段对执法对象进行强制管理,执法效果虽然容易操作,且直观,但是这是一种凌驾于规律之上,片面的追求短期效果的低级执法模式。进入新中国以来,尤其是改革开放以来,我国坚持依法治国,党的十八届四中全会更提出了全面推进依法治国的新常态,这是数据文化的有力体现,是我党在大数据时代下,一项重大举措。
我认为,大数据时代下运用数据进行执法,是执法能力现代化的利器。我从事交通执法这个职业已经数载,经历过从无到有,又逐渐的从有变成无。这个前后并不矛盾,从前的“无”是法律不健全,无章可循,有章难循状态。只能够自身党性约束和对事物客观理解进行执法,甚至有的时候片面的依靠上级,人类对事物的理解具有局限性,这难免会造成决策错误。
从无到有,是法律慢慢健全,法律的约束更加全面,但有的时候简单的照本宣科,眉毛胡子一把抓,也就成了教条主义。而从有到无,是一种利用客观的数据,以法律为准则,通过科学执法,将数据调整趋于合理。类似国家利用经济规律宏观调控国民经济,用一只看不见的“大手”将全国的经济发展形势引导至合理增长的区间。数据合理了,管理预期也就达到了。相对于我们有肉眼去观察,显得更为精确,且具很高的可信度。这样一来,对我们基层执法工作者带来的巨大的福利,我们从此以后再也不用担心对工作进展情况不了解而心急火燎了。
在大数据时代变革的今天,客观、精确、理性和逻辑的“数据文化”理念是推进国家治理体系和治理能力的现代化利器。大数据时代下的执法行为更是离不开数据,只有充分的利用数据化管理、数据化创新,才能在当前数据浪潮当中主动适应新常态,科学地实现新突破和新作为。
《数据之巅》读后感这是涂子沛先生关于大数据的第二本书,读了以后可以说是振聋发聩,醍醐灌顶。
第一本书本身就写得很棒了,其主要是从美国现代社会应用大数据成功解决的许多问题入手,说出了大数据的实际用处。而这本书抽丝剥茧从历史上美国对于数据的发展带给我们启迪。
1、数据分权
何为民主,何为共和,如何防范多数人的暴政?基于这个问题美国给出了参议院代表的共和与众议院代表的民主,权利与义务统一,即投票与纳税都按所代表的的人口来。
这里就诞生了对精确人口掌控的需求。基于这一点,逐渐养成了按数据说话的传统。并逐渐将单一的人口数量统计扩展到宗教,种族,性别,年龄。
2、数据引领改革
之前是北美大陆种植烟草亟需黑奴,美国解放后烟草行业败落。后来棉花兴起,死灰复燃。北方工业化也需要劳动力。黑人自由就发疯的言论源于统计上的失误,错误稀释原因因基数不同。一项战役向大海进军完全依靠准确数据抢掠补给。谢尔曼格兰特。背后的原因:维护美国的统一,(解放黑奴后其的生计太难),动员黑奴使其转败为胜。
3、数据推动技术
用数据研究社会,普通人的历史。统计学将研究粒度缩小到一个个人。加菲尔德将普查上升到了专业部门。迅速上升的统计内容,不断增加的人口给数据处理提出了挑战。于是技术创新制表机诞生了(数据处理),依靠这个IBM发展壮大,商业模式:只租不卖设备及服务。
4、数据争取权益
量化提高质量。经济发展带来劳资冲突,政治,道德失范。这时候为了改善工人生活又依靠数据兴起了数据分析法,成本收益分析法又在美国水利方面大显身手,继而福特车的风波也加速了成本收益分析法传播同时依靠数据公开使得企业不断提升产品质量,并将人的价值考虑进来。
5、抽样
运用抽样的方法降低数据处理的工作量,省时省力。盖洛普引领的总统预测,乱世佳人的精准预测,准确定位。把数据引入电影工业。质量管理大师戴明将统计方法引入质量管理领域,成就日本经济奇迹。
⑺ 理解大数据时代的数字鸿沟
理解大数据时代的数字鸿沟
大数据是近几年来炙手可热的话题,大数据的优势以及大数据所带来的新思潮形成研究热潮。从随机抽样到全体样本,从要求精确到应对混杂,从追求因果到发现关联,大数据时代改变着我们的信息环境与信息处理思维模式。但是,并非所有的人都能同时走入大数据时代,如同媒介技术的每一次创新与扩散一样,敏感的企业和组织是大数据的先行者和实践者,也是最早的大数据受益者;而普通的个体则在面对大数据时呈现差异,有的在时间上跟进迟缓,有的在数据分析能力上存在欠缺,有的不知道如何寻找开放数据,有的在数据噪音前不知所措。传统互联网时代的数字鸿沟尚未完全填平,而在大数据时代新的数字鸿沟又在形成并不断影响与改变着人们的政治经济地位。
讨论大数据时代的数字鸿沟,需要明确区分“数字差异”与“数字鸿沟”.从词源上看,两者意义接近,都是由“Digital Divide”翻译而来。但从传播效果或情感色彩上看,数字鸿沟比数字差异更能引起人们的警示。在大数据时代,人们创造数据并被数据所包围,囿于人的视野及精力,人们在面向数据并做出选择时必然会出现差异。比如,互联网提供的个性化的搜索引擎,个性化藏夹等都会导致信息浏览的个人化,大数据时代的数字差异不可避免。数字鸿沟比数字差异更能引起人们的警惕,数字鸿沟更强调在认识和机会上的差异。数字差异是知道有机会而不为,数字鸿沟则是想为而没有能力或机会。同在大数据背景之下,数字鸿沟可能会在拥有数据、分析数据和数据思维三个层面存在数字鸿沟。
三个不同的分析维度
(一)拥有数据的数字鸿沟
大数据时代,“全新”“、革命”“、颠覆性”等术语频繁出现,但“大数据”这一标签下所指涉的问题却由来已久。伴随着互联网的勃兴,数据的指数增长、信息超载和数据处理问题等一直是人们不得不面对的问题。在大数据时代,数据的掘取、存储、处理与应用方面的技术有了快速的发展,但是在谁拥有数据这个造成数字鸿沟最基本的问题上,当下关于大数据的讨论并未给出让人满意的答案。
1.数据开放
对于企业和政府来讲,大数据是一笔宝贵的财富,“对大数据的掌握可以转化为经济价值的来源”也可以从更为准确的角度了解社会,并进行管理。因此,企业和政府需要从普通公众那里搜集数据,数据的传播是一种自下而上的过程,最先拥有和掌控大数据的也是来自企业和政府的“数字先锋”.但是,消弭数字鸿沟恰恰需要另一种形式的数据流动,即开放数据---让数据从企业和政府所有而变成被公众所共享,这是一个自上而下的过程。在现实生活中,这种自上而下的信息流动处处面临着阻力:一方面企业把数据当做核心竞争力或者核心机密,并且花费了大量的人力、物力、财力去做数据分析,因此很难实现数据的共享;另一方面政府的数据公开步伐还比较缓慢,公众获得有价值的信息依然有难度。
数据开放所形成的数字差异需要开放数据来解决。哪些数据能够开放,以何种形式向公众开放,具体的实施者是谁,谁又能为数据开放过程中的“搭便车”行为买单都是需要思考的问题。大数据既可以产生商业价值,同时又兼具公共性的特质,在此过程中,和公众利益密切相关的数据需要开放,我国早在 2007 年 1 月 17 日就通过了《中华人民共和国信息公开条例》,明确规定原则、范围、方式、程序和监督保障制度。在大数据时代,政府开放数据的力度应该进一步加大,同时对公众进行获取数据的素养教育,实现数据的民有和民享。作为一种公共资源,数据分配的公平性和财富分配的公平性一样,都会对社会结构产生非常大的影响,政府和企业可以依靠数据存储与分析技术的发展做“数据银行”业务,让每个公民都有机会在“数据银行”存储和提取自己想要的数据。国内学者涂子沛在《大数据》一书中,把开放数据放在数据民主的角度去思考,指出开放数据运动会推动“开放政治、开放政府、开放媒体、开放城市等等一系列的运动和口号”.这对消除数据所有权所形成的数字鸿沟,建设一个数据公平的美丽新世界提供了一条可行之路。
2.数据搜集
大数据时代的基础在于海量数据,究竟多大才是大数据呢?“麦肯锡全球研究所”的最新报告对大数据下了一个定义:“大数据是指大小超出了传统数据库软件工具的抓取、存储、管理和分析能力的数据群”而且,大数据的标准随着数据的指数增长也在不断发生变化。今天,我们在谈论大数据时往往以 pb 为单位,海量数据提供了更为详细的信息,但是也存在一些隐忧,即数据的价值密度太小,因而搜集数据以及在海量数据中寻找有价值信息的成本太高。舍恩伯格在接受《中国经济周刊》记者谢玮专访时说:“在许多方面,我们仍然生活在一个‘小数据’时代,在这个时代收集数据非常耗时、昂贵和困难。”大数据时代的数据搜集是一项庞大的工程,而且,大数据还远远未达到普通人能够支付得起的阶段。
搜集数据的数字鸿沟在大数据时代似乎没有减少,反而随着大数据处理技术的发展而在逐步扩大。对于媒体和企业来讲,搜集数据和处理数据都并非易事,着名的《哈佛商业评论》杂志对全球财富1000强的企业应用大数据的情况做了一项科学调研,发现“大多数企业还处于大数据的入门阶段,还小具备真正挖掘大数据的能力”,而且,“只有巧%的受访者认为所在企业的数据可访问性够好或者达到世界级水平,只有21%的受访者认为所在企业的分析能力够好或者达到世界水平”.显然,对于普通公众来说,搜集数据、挖掘数据的难度更大,差异也更大。在搜索引擎主宰信息流向的时代,公众就因为使用不同的搜索引擎而产生数字鸿沟,使用普通的搜索引擎与使用较为专业的搜索引擎和数据库之间存在着差异。在大数据时代,公众不仅要知道如何利用专业的搜索引擎,还需要在海量的信息中迅速寻找最有价值的信息,囿于公众能力的差异,在搜集阶段产生的数字鸿沟将难以避免。而且,互联网下的数据处于不断更新的状态,时效性是非常重要和关键的。在对“知识鸿沟”的研究中,西方学者 J.S.艾蒂玛和 F.G.克莱因曾经提到“上限效果”,指的是随着时间的推移,知识鸿沟会逐渐减少。但是在互联网时代,信息的价值和及时性有密切的关系,即使随着时间的推移公众在搜集数据上的“鸿沟”逐渐缩小,但是后来者所拥有的数据价值也会大打折扣。媒介环境学派的代表性人物莱文森对信息超载的论述可能会对缓解大数据时代数据搜集所产生的差异提供帮助,他认为建立信息分类法则可以解决信息超载的困扰,比如在图书上建立图书分类法则并依据这一法则运作,就能够解决图书馆的信息超载问题,这一思想对解决长期困扰人类的信息超载具有普遍的启示意义。
(二)分析数据的数字鸿沟
谁拥有数据会产生差异,而在同等拥有数据的情况下,公众利用数据的能力不同,也会产生差异。大数据既包含以数量关系为基础的结构化数据,也包含以定性描述为主的非结构化数据,而且,非结构化数据往往占有很大的比例。因此,在大数据时代,同样拥有数据并不代表着同样能够利用数据,分析数据和掘取价值上的数字鸿沟依然需要引起我们的警惕。
1.数据删除
大数据时代是一个信息高度碎片化的时代,信息中的重复、噪音、冗余和信息中的人为因素(网络水军)等,都影响到人们对数据的分析与利用,此时,删除数据与收集数据同样重要。除《大数据时代:生活工作与思维的大变革》之外,舍恩伯格还有一部影响深刻的着作-《删除:大数据取舍之道》。在这部着作中,舍恩伯格提醒人们在大数据时代“记忆成为常态,而遗忘成为例外”,因此要注意信息取舍之道;在这个“没有遗忘的世界里”,遗忘恰恰成为一种宝贵的信息处理方式与权利数据删除是一个人性化的问题,随着“电脑原生代”的成
长,每个人都有着青涩的、尴尬的、甚至小堪回首的过去,互联网之前人们会尝试遗忘这些小愉快的过去,但是互联网的记忆让每个人小得小而对这样一个现实:人们可能会为若十年前犯过的错误买单。
删除同样是一个技术性的问题,在互联网时代,历史悠久的数据会逐渐成为“数据垃圾”,不但占用大量的存储资源,而且也会影响对当下数据的分析,评估数据与删除数据成为大数据时代必不可少的数据处理方式。但是具体到个人就会产生一个问题,人不可能像机器一样去评估和处理,只能按照过往的经验来处理信息。另一位国外学者蒂奇诺在分析“知识鸿沟”所形成的原因时提到,个人的信息储备也会产生“知识鸿沟”,即“正规教育和从大众媒体中获得的信息会帮助受教育程度较高的人提供理解知识的背景”.大数据时代并未改变人们接受信息的习惯,因此,在大数据时代依然是受教育程度较高的人先学会接受和删除信息。删除还有一个颇具哲学意味的意义,在大数据时代,选择即删除。人对数据的接受具有零和效果“,朝向一组数据的同时意味着放弃另外的数据,这也是另外一种意义上的删除,处理掉低质量的过时数据是发现大数据意义的前提。知名学者马修·E·梅所着的《精简:大数据时代的商业致胜法则》,同样也提到大数据时代的信息删除与精简问题。在大数据时代,能够快速在第一时间获得最有价值数据的企业会逐渐发展起来,而不懂大数据或沉迷于大数据的企业会逐渐落伍。
2.数据可用
大数据时代提供了一个多元、详细且复杂的数据环境,在大数据时代,一切现实都可以量化为数据。但是如果用大数据来创造价值就需要从海量数据中找出有价值的数据,并把数据还原为现实。因为”,拥有一个数据集,无论它们多大或者多小,其自身都不会带来任何价值。“大数据的最终价值还是体现在数据的”可用“之上。与此同时,关于数字鸿沟的问题也出现在数据的”可用“上,大数据如同提供了一个美味的坚果,不借助工具很难打开它,而大数据所使用的”云存储、云计算“又不是任何公众都能轻易掌握的。少部分人掌握了分析数据与应用数据的能力,还有相当多的大众面对浩如烟海的大数据不知所措,最终陷入信息超载的焦虑之中。
弥补数据可用的”数字鸿沟“需要让数据变得直观而可视,这仍然是一个涉及公共性的话题。把数据还原为现实既需要数据分析的人工智能技术,也需要人的敏锐的分析与判断能力,更为关键的是,需要把对数据所提示的环境真实地传达给公众。政府和媒体要做的依然很多,首先需要数据处理技术的普及,把解读关于公共事务的大数据当做一个公共事业,如在 20世纪 60 年代,被称为”人工智能之父“的约翰·麦卡锡曾预言”有朝一日,计算可能变成公共设施“.其次,媒体要做好数据与现实之间”摆渡人“的角色,不仅要用大数据来分析受众获得收益,更要体现媒体的公共性,让受众能够读懂大数据并受用于大数据。比如,美国记者在报道龙卷风时”将龙卷风破坏房屋的损毁数据,与地图相重叠,制成大数据地图。“这样,受众既能够比较精确地了解龙卷风带来灾害的大体区域,又能够精确理解某个区域龙卷风造成损失的具体情况。
(三)数据思维的数字鸿沟
大数据热所带来的重要变化是关于数据思维的变化,关于大数据的讨论有很多,但并非有了”大数据“这样一个概念我们的信息环境就自然而然发生了质的变化,而是在互联网逐渐走向海量数据的今天,从”数字化生存“转向”数据化生存“的大数据思维让人们多了一个认识世界的视角。在大数据技术之外的数字鸿沟来自于人们的思维层面,即人们对待数据的思维存在差异。
1.超越大数据
大数据时代的思维之一是要超越”数据迷思“,把数据当成一种工具而不是一种数据霸权。舍恩伯格在《大数据时代》一书中指出大数据带来的三种变化:不是随机样本,而是全体数据;不是精确性,而是混杂性;不是因果关系,而是相关关系。这些变化对于传统的定量研究方法有极大的影响,可是定量方法的改进并不能取代定性的研究,必须超越数据才能发现数据背后的意义与价值。于是,大数据思维包含了三个层次。第一个层次是发现海量数据,了解海量数据的潜在价值,但并不能很好的利用数据;第二个层次是能够较好的利用数据,但是往往陷入数据崇拜,解决不了关于意义的问题;第三个层次是能够利用数据,但是也能够同时超越数据,发现价值。这三个层次在大数据的发展过程中既是一个历时的过程,也是一个共识的过程。大数据概念的兴起与扩散还需时日,因此在数据思维上三个层次的”数字鸿沟“仍将长期存在。
2.大数据素养
数字鸿沟的减小也需要在硬件与软件两个方向上作出努力,在大数据时代仍然如此。从最近几年的中国互联网络统计报告来看,硬件的数字鸿沟在逐渐缩小,而软件的数字鸿沟仍在扩大。消弭数字鸿沟需要政府、企业等开放公共数据并提供利用公共数据的方法,还需要提升全体公民的大数据素养,实现大数据的民有与民享。数据素养也被称为数据信息素养,主要指人们在科学数据的采集、组织和管理、处理和分析、共享与协同创新利用等方面的能力,以及在数据的生产、管理和发布过程中的道德与行为规范。全面提高全民的数据素养,我们才能自信地迎接大数据时代的到来,并利用大数据为人类创造新的福祉。
⑻ 涂子沛大数据第十章讲了什么
涂子沛大数据第十章讲了胡适批评差不多先生,黄仁宇求索数目字管理,作者从太平洋对面看到中美两国的差距,深知中国缺少什么。
大数据2012年7月出版的《大数据》是中国大数据领域第一本著作,引领了中国社会对大数据战略、数据治国和开放数据的讨论,该书先后获得国家图书馆文津图书奖、第四届中国软科学前沿探索奖、2012年度十大好书等奖项。
涂子沛,知名信息管理专家,曾居美国硅谷,现任阿里巴巴副总裁。毕业于华中科技大学、中山大学和卡内基梅隆大学。赴美留学之前,曾在省、市、县几级政府的不同部门磨砺10年,做过职业程序员,担任过公安边防巡逻艇的指挥官,也从事过政府统计工作。在美期间,先后担任软件公司的数据仓库程序员、数据部门经理、数据中心主任、亚太事务总监、首席研究员等职务。除了工作、写作,还热心公益,曾任中国旅美科技协会匹兹堡分会主席,现任中国旅美科技协会副主席,上海真爱梦想公益基金会理事。
⑼ 读《大数据时代》心得体会
读《大数据时代》心得体会(一)
读了《大数据时代》后,感觉到一个大变革的时代将要来临。虽然还不怎么明了到底要彻底改变哪些思维和操作方式,但显然作者想要“终结”或颠覆一些传统上作为我们思维和生存基本理论、方法和方式。在这样的想法面前,我的思想被强烈震撼,不禁战栗起来。
“在小数据时代,我们会假象世界是怎样运作的,然后通过收集和分析数据来验证这种假想。”“随着由假想时代到数据时代的过渡,我们也很可能认为我们不在需要理论了。”书中几乎肯定要颠覆统计学的理论和方法,也试图通过引用《连线》杂志主编安德森的话“量子物理学的理论已经脱离实际”来“终结”量子力学。对此我很高兴,因为统计学和量子力学都是我在大学学习时学到抽筋都不能及格的课目。但这两个理论实在太大,太权威,太基本了,我想我不可能靠一本书就能摆脱这两个让我头疼一辈子的东西。作者其实也不敢旗帜鲜明地提出要颠覆它们的论点,毕竟还是在前面加上了“很可能认为”这样的保护伞。
近几十年,我们总是在遇到各种各样的新思维。在新思维面前我们首先应该做到的就是要破和立,要改变自己的传统,跟上时代的脚步。即使脑子还跟不上,嘴巴上也必须跟上,否则可能会被扣上思想僵化甚至阻碍世界发展的大帽子。既然大数据是“通往未来的必然改变”,那我就必须“不受限于传统的思维模式和特定领域里隐含的固有偏见”,跟作者一起先把统计学和量子力学否定掉再说。反正我也不喜欢、也学不会它们。
当我们人类的数据收集和处理能力达到拍字节甚至更大之后,我们可以把样本变成全部,再加上有能力正视混杂性而忽视精确性后,似乎真的可以抛弃以抽样调查为基础的统计学了。但是由统计学和量子力学以及其他很多“我们也很可能认为我们不再需要的”理论上溯,它们几乎都基于一个共同的基础——逻辑。要是不小心把逻辑或者逻辑思维或者逻辑推理一起给“不再需要”的话,就让我很担心了!
《大数据时代》第16页“大数据的核心就是预测”。逻辑是——描述时空信息“类”与“类”之间长时间有效不变的先后变化关系规则。两者似乎是做同一件事。可大数据要的“不是因果关系,而是相关关系”,“知道是什么就够了,没必要知道为什么”,而逻辑学四大基本定律(同一律、矛盾律、排中律和充足理由律)中的充足理由律又“明确规定”任何事物都有其存在的充足理由。且逻辑推理三部分——归纳逻辑、溯因逻辑和演绎逻辑都是基于因果关系。两者好像又是对立的。在同一件事上两种方法对立,应该只有一个结果,就是要否定掉其中之一。这就是让我很担心的原因。
可我却不能拭目以待,像旁观者一样等着哪一个“脱颖而出”,因为我身处其中。问题不解决,我就没法思考和工作,自然就没法活了!更何况还有两个更可怕的事情。
其一:量子力学搞了一百多年,为了处理好混杂性问题,把质量和速度结合到能量上去了,为了调和量子力学与相对论的矛盾,又搞出一个量子场论,再七搞八搞又有了虫洞和罗森桥,最后把四维的时空弯曲成允许时间旅行的样子,恨不得马上造成那可怕的时间旅行机器。唯一阻止那些“爱因斯坦”们“瞎胡闹”的就是因果关系,因为爸爸就是爸爸,儿子就是儿子。那么大数据会不会通过正视混杂性,放弃因果关系最后反而搞出时间机器,让爸爸不再是爸爸,儿子不再是儿子了呢?其二:人和机器的根本区别在于人有逻辑思维而机器没有。《大数据时代》也担心“最后做出决策的将是机器而不是人”。如果真的那一天因为放弃逻辑思维而出现科幻电影上描述的机器主宰世界消灭人类的结果,那我还不如现在就趁早跳楼。
还好我知道自己对什么统计学、量子力学、逻辑学和大数据来说都是门外汉,也许上面一大篇都是在胡说八道,所谓的担心根本不存在。但问题出现了,还是解决的好,不然没法睡着觉。自己解决不了就只能依靠专家来指点迷津。
所以想向《大数据时代》的作者提一个合理化建议:把这本书继续写下去,至少加一个第四部分——大数据时代的逻辑思维。
读《大数据时代》心得体会(二)
信息时代的到来,我们感受到的是技术变化日新月异,随之而来的是生活方式的转变„„我们这样评论着的信息时代已经变为曾经。如今,大数据时代成为炙手可热的话题。笔者在这说明信息和数据,只是试图首先说明信息、数据的关系和不同,也试图说明,为什么信息时代转变为了大数据时代?大数据时代带给了我们什么?
信息和数据的定义。维基网络解释:信息,又称资讯,是一个高度概括抽象概念,是一个发展中的动态范畴,是进行互相交换的内容和名称,信息的界定没有统一的定义,但是信息具备客观、动态、传递、共享、经济等特性却是大家的共识。数据:或称资料,指描述事物的符号记录,是可定义为意义的实体,它涉及到事物的存在形式。它是关于事件之一组离散且客观的事实描述,是构成信息和知识的原始材料。数据可分为模拟数据和数字数据两大类。数据指计算机加工的“原料”,如图形、声音、文字、数、字符和符号等。从定义看来,数据是原始的处女地,需要耕耘。信息则是已经处理过的可以传播的资讯。信息时代依赖于数据的爆发,只是当数据爆发到无法驾驭的状态,大数据时代应运而生。这是否是《大数据时代》一书所未曾阐述的背景材料?
在《大数据时代》一书中,大数据时代与小数据时代的区别:1、思维惯例。大数据时代区别与转变就是,放弃对因果关系的渴求,而取而代之关注相关关系。也就是说只要知道“是什么”,而不需要知道“为什么”。作者语言绝对,却反思其本质区别。数据的更多、更杂,导致应用主意只能尽量观察,而不是倾其所有进行推理?这也是明智之举2、使用用途。小数据停留在说明过去,大数据用驱动过去来预测未来。笔者认为数据的用途意在何为,与数据本身无关,而与数据的解读者有关,而相关关系更有利于预测未来。3、结构。大数据更多的体现在海量非结构化数据本身与处理方法的整合。大数据更像是理论与现实齐头并进,理论来创立处理非结构化数据的方法,处理结果与未来进行验证。4、分析基础。大数据是在互联网背景下数据从量变到质变的过程。笔者认为,小数据时代也即是信息时代,是大数据时代的前提,大数据时代是升华和进化,本质是相辅相成,而并非相离互斥。
数据未来的故事。数据的发展,给我们带来什么预期和启示?银行业天然有大数据的潜质。客户数据、交易数据、管理数据等海量数据不断增长,海量机遇和挑战也随之而来,适应变革,适者生存。我们可以有更广阔的业务发展空间、可以有更精准的决策判断能力、可以有更优秀的经营管理能力„„可以这些都基于数据的收集、整理、驾驭、分析能力,基于脱颖而出的创新思维和执行。因此,建设“数据仓库”,培养“数据思维”,养成“数据治理”,创造“数据融合”,实现“数据应用”才能拥抱“大数据”时代,从数据中攫取价值,笑看风云变换,稳健赢取未来。
读《大数据时代》心得体会(三)
这本书里主要介绍的是大数据在现代商业运作上的应用,以及它对现代商业运作的影响。
《大数据时代》这本书的结构框架遵从了学术性书籍的普遍方式。也既,从现象入手,继而通过对现象的解剖提出对这一现象的解释。然后在通过解释在对未来进行预测,并对未来可能出现的问题提出自己看法与对策。
下面来重点介绍《大数据时代》这本书的主要内容。
《大数据时代》开篇就讲了Google通过人们在搜索引擎上搜索关键字留下的数据提前成功的预测了20XX年美国的H1N1的爆发地与传播方向以及可能的潜在患者的事情。Google的预测比政府提前将近一个月,相比之下政府只能够在流感爆发一两个周之后才可以弄到相关的数据。同时Google的预测与政府数据的相关性高达97%,这也就意味着Google预测数据的置信区间为3%,这个数字远远小于传统统计学上的常规置信区间5%!而这个数字就是大数据时代预测结果的相对准确性与事件的可预测性的最好证明!通过这一事以及其他的案例,维克托提出了在大数据时代“样本=总体”的思想。我们都知道当样本无限趋近于总体的时候,通过计算得到的描述性数据将无限的趋近于事件本身的性质。而之前采取的“样本<总体”的做法很大程度上无法做到更进一步的描述事物,因为之前的时代数据的获取与存储处理本身有很大的难度只导致人们采取抽样的方式来测量事物。而互联网终端与计算机的出现使数据的获取、存储与处理难度大大降低,因而相对准确性更高的“样本=总体”的测算方式将成为大数据时代的主流,同时大数据时代本身也是建立在大批量数据的存储与处理的基础之上的。
接下来,维克多又通过了IBM追求高精确性的电脑翻译计划的失败与Google只是将所有出现过的相应的文字语句扫描并储存在词库中,所以无论需要翻译什么,只要有联系Google词库就会出现翻译,虽然有的时候的翻译很无厘头,但是大多数时候还是正确的,所以Google的电脑翻译的计划的成功,表明大数据时代对准确性的追求并不是特别明显,但是相反大数据时代是建立在大数据的基础住上的,所以大数据时代追求的是全方位覆盖的数字测度而不管其准确性到底有多高,因为大量的数据会湮埋少数有问题的数据所带来的影响。同时大量的数据也会无限的逼近事物的原貌。
之后,维克托又预测了一个在大数据时代催生的重要职业——数据科学家,这是一群数学家、统计学与编程家的综合体,这一群人将能够从获取的数据中得到任何他们想要的结果。换言之,只要数据充足我们的一切外在的与内在的我们不想让他人知道的东西都见会在这一群家伙的面前展现得淋漓尽致。所以为了避免个人隐私在大数据时代被这一群人利用,维克托建议将这一群人分为两部分,一部分使用数据为商业部门服务,而另一群人则负责审查这一些人是否合法的获得与应用数据,是否侵犯了个人隐私。
无论如何,大数据时代将会到来,不管我们接受还是不接受!
我觉得《大数据时代》这本书写的很好,很值得一读。因为会给我们很多启发,比如你在相关的社交网站发表的言论或者照片都很有可能被“数据科学家”们利用,从而再将相关数据卖给各大网店。不过,事实就是我们将会成为被预测被引诱的对象。所以说,小心你在网上留下的痕迹。
我喜欢这本书是因为它给我展现了一个新的世界。
读《大数据时代》心得体会(四)
利用周末,一口气读完了涂子沛的大作《大数据》。这本书很好看,行文如流水,引人入胜。书中,你读到的不是大数据技术,更多是与大数据相关的美国政治、经济、社会和文化的演进。作为一名信息化从业者,读完全书,我深刻感受到了在信息化方面中国与美国的各自特色,也看到了我们与美国的差距。有几个方面的体会,但窥一斑基本能见全貌。
一是政府业务数据库公开的广度和深度。近年来,随着我国信息公开工作的推进,各级政府都在通过政府门户网站建设积极推进网上政务信息公开,但我们的信息公开,现阶段还主要是政府的政策、法律法规、标准、公文通告、工作职责、办事指南、工作动态、人事任免等行政事务性信息的公开。当然,实时的政府业务数据库公开也已经取得很大进步。在中国政府门户网,可以查询一些公益数据库,如国家统计局的经济统计数据、环保部数据中心提供的全国空气、水文等数据,气象总局提供的全国气象数据,民航总局提供的全国航班信息等;访问各个部委的网站,也能查到很多业务数据,如发改委的项目立项库、工商局的企业信用库、国土资源部的土地证库、国家安监总局的煤矿安全预警信息库、各类工程招标信息库等等。这是一个非常大的进步,也是这么多年电子政务建设所取得的成效和价值!但是,政务业务数据库中的很多数据目前还没有实现公开,很多数据因为部门利益和“保密”等因素,还仅限于部门内部人员使用,没有公开给公众;已经公开的数据也仅限于一部分基本信息和统计信息,更多数据还没有被公开。从《大数据》一书中记录的美国数据公开的实践来看,美国在数据公开的广度和深度都比较大。美国人认为“用纳税人的钱收集的数据应该免费提供给纳税人使用”,尽管美国政府事实上对数据的公开也有抵触,但民愿不可违,美国政府的业务数据越来越公开,尤其是在奥巴马政府签署《透明和开放的政府》文件后,开放力度更加大。DATA.GOV是美国联盟政府新建设的统一的数据开放门户网站,网站按照原始数据、地理数据和数据应用工具来组织开放的各类数据,累积开放378529个原始和地理数据集。在中国尚没有这样的数据开放的网站。另外,由于制度的不同,美国业务信息公开的深度也很大,例如,网上公布的美国总统“白宫访客记录”公布的甚至是造访白宫的各类人员的相关信息;美国的FedSpending网站,能够逐条跟踪、记录、分析联邦政府每一笔财政支出。这在中国,目前应该还没有实现。
二是对政府对业务数据的分析。目前,中国各级政府网站所提供的业务数据基本上还是数据表,部分网站能提供一些统计图,但很少能实现数据的跨部门联机分析、数据关联分析。这主要是由于以往中国政务信息化的建设还处于部门建设阶段。美国在这方面的步伐要快一些,美国的DATA.GOV网站,不仅提供原始数据和地理数据,还提供很多数据工具,这些工具很多都是公众、公益组织和一些商业机构提供的,这些应用为数据处理、联机分析、基于社交网络的关联分析等方面提供手段。如DATA.GOV上提供的白宫访客搜索工具,可以搜寻到访客信息,并将白宫访客与其他微博、社交网站等进行关联,提高访客的透明度。
三是关于个人数据的隐私。在美国,公民的隐私和自有不可侵犯,美国没有个人身份证,也不能建立基于个人身份证号码的个人信息的关联,建立“中央数据银行”的提案也一再被否决。这一点,在中国不是问题,每个公民有唯一的身份信息,通过身份证信息,可以获取公民的基本信息。今后,随着国家人口基础数据库等基础资源库的建设,公民的社保、医疗等其他相关信息也能方便获取,当然信息还是限于政府部门使用,但很难完全保证整合起来的这些个人信息不被泄露或者利用。
数据是信息化建设的基础,两个大国在大数据领域的互相学习和借鉴,取长补短,将推进世界进入信息时代。我欣喜地看到,美国政府20XX年启动了“大数据研发计划”,投资2亿美元,推动大数据提取、存储、分析、共享、可视化等领域的研究,并将其与超级计算和互联网投资相提并论。同年,中国政府20XX年也批复了“十二五国家政务信息化建设工程规划”,总投资额估计在几百亿,专门有人口、法人、空间、宏观经济和文化等五大资源库的五大建设工程。开放、共享和智能的大数据的时代已经来临!
我精心推荐
⑽ “大数据是迈向智能社会的土壤”
“大数据是迈向智能社会的土壤”
“有人说数据是石油,是黄金。在我看来,那都是1.0版本的说法。如今,数据是土壤,是我们迈向智能社会的土壤。”9月13日上午,著名信息管理专家、阿里巴巴集团副总裁涂子沛做客广东职工大讲堂时表示。
他认为,在这个大数据时代,沉淀、采集和分析数据使人们能够掌握很多以前无法获得的信息,实现预判趋势和定制化生产,从而帮助企业转型升级,实现社会精细化发展;同时,通过合理开放和融通数据,能够实现智慧的集成和社会治理水平的提高。
互联网是沉淀数据的战略基础设施
“今天的互联网,不仅仅是互联,而是沉淀数据的基础设施。”涂子沛认为,“互联网+”里的“+”是指超越互联,而具体表现就是数据化。
那么,互联网时代的大数据又是什么?他表示,数据是对客观世界的测量和记录,而大数据是“传统的小数据”+“现代的大记录”。“我们在收集数据时,可能是出于某个特定目的,只限于在特定维度上来收集。但这些数据往往可能在新的维度,在新的领域发生作用。”
比如,现在社会上都在讲传统企业转型,怎么转型?涂子沛表示,传统企业很难清楚地知道自己的产品卖到哪里、卖给了谁,但借助互联网,企业能够通过数据了解并分析购买者的消费行为。
他认为,一切业务数据化,便是互联网企业与传统企业的不同所在:互联网能把每一笔交易用数据沉淀下来,作为基础设施将数据采集,决定着企业今后的命运。
“企业可以和每一个终端用户之间建立数据联系,通过实时的、源源不断的数据沉淀,更加了解市场和用户。在数据时代,比的不是劳动生产力,而是知识生产力。就以电商来说,哪一家电商平台最早、最有效最精确把这些分析出来,销售量可能提得更高。不仅如此,互联网和大数据还能帮助企业拓展新的业务和商机。”
涂子沛以阿里巴巴为例,“每做一笔交易就沉淀一笔记录,数据沉淀越来越多,有了这些数据,便可以去开拓新的领域,比如说金融业务。”他解释,目前阿里巴巴平台上如果有商家提出贷款需求,在几分钟内,平台便可以决定是否发放贷款。“依据是什么?便是借助交易等各类数据的积累,全面了解商家的运营状况等信息,决策能不能放贷。”
大数据“表示的是过去,表达的是未来”
在“互联网+”时代,数据到底有多重要?“数据是土壤”,孕育智能社会。涂子沛称,数据不再仅是黄金和石油,因为它们用一次就消耗了,而数据永远在那里,越用越多,并最终经过沉淀、采集、分析实现1+1>2的效果。
“如今数据存储分享成本极其低廉,微信、微博等社交媒体的普及,使得每个人都贡献数据,引起数据爆炸。”在涂子沛看来,这些数据是预测世界最好的工具,数据表示的是过去,表达的是未来,数据就是规律的载体。“目前我们的数据正在实现把机器连接起来,成为物联网,而未来一旦机器跟人体连接上网,7×24小时源源不断收集数据、产生数据,一切都将数据化。
进入大数据时代,未来生产和社会将变成什么样?涂子沛认为,依托大数据分析,企业还可以预测消费行为和市场趋势,从而提供个性化产品满足不同需求。
“比如每个人打开手机淘宝,看到的页面、产品、商品都不一样,做了个性化之后,手机淘宝点击和下单的人要比不做个性化高一倍左右。为什么?因为数据分析使得我们把他最关心的事情推送给他了。”
值得注意的是,数据也将对传媒业产生巨大影响。他提到,媒体每天处理的信息其实就是数据的富矿,也应当通过数据分析和用户习惯给每个人推送新闻,使每一位客户通过客户端只看到自己想看到的新闻,为每一位客户量身定做,提供个性化服务。
涂子沛补充说,这就需要有大量的数据,才能基于客户兴趣和趋向的掌握,提供个性化服务。当前我们处在一个注意力匮乏的时代,大数据信息爆炸,注意力是最宝贵的,个性化服务就是在争取注意力,从而实现价值。
大数据帮助提高社会治理水平
“数据虽然是最重要的资源,不流动,就不能产生价值”,涂子沛认为,“互联网+”时代,开放数据,让数据流动,整合数据,才能够实现“1+1>2”的增值。开放数据才能推动知识经济、网络经济、新经济的发展。
他强调,数据要融通才能产生价值。要通融数据,必须首先开放数据。“中国已成立专门部门管理数据开放问题,广东则是第一个成立大数据管理局的省份。涂子沛认为,开放数据是一个系统工程,要把数据以一定的程度跟其他的数据、其他平台进行整合,更好的服务经济社会的发展。
“比如,通过掌握每一部车的位置,就知道车在红绿灯面前等了多久,现在智能红绿灯是全世界交通领域的前沿,通过将几千万条出租车数据开放出来,举办一场数据大赛,号召大家设计这样一套系统,让所有车在所有路口和地区等待的时间加总之和要最小。”
他说,这意味着,用外部力量调动内部创新,用互联网来调动资源,寻找最优解决方案,提高社会治理水平。数据开放、共享和融通不仅使得社会效率更加有效,还增加新的蓝海、新的资源,我们已经享受到了开放数据的好处。
以上是小编为大家分享的关于“大数据是迈向智能社会的土壤”的相关内容,更多信息可以关注环球青藤分享更多干货