1. 大数据的历史
李娜再度夺得大满贯,超越了张德培的华人大满贯纪录,非举国体制下的奇迹造就了举国的愉悦。
在总结李娜成功因素的时候,也再次看到了这样的言论:是大数据起到了重要的作用。但这次李娜夺冠,最靠谱的解释就是李娜在卡洛斯的帮助下大大提升了心理层面的战斗力。
在技术层面领先的前提下,李娜在整场比赛中克服了节奏问题,她具备了一颗冠军的心脏。2012年9月6日,代表亚洲网球至高水平的中国选手李娜在美国迎战名将小威廉姆斯。
当时,IBM公司在综合了美网过去8年的全部比赛数据之后,为参赛球员制定了“Keys to the march”的比赛制胜策略。李娜一方获得赢球的关键包括3个指标:1.一发得分率超过69%;2.4-9拍相持中得分利率要超过48%:3.发球局30-30或40-40时得分率要超过67%。
比赛结果是,李娜溃败。比赛结束后,IBM高调地宣布李娜仅仅完成了三项制胜策略中的项,而小威廉姆斯则完成了自己三项制胜策略中的两项。
于是,很多人就顺着IBM的思路问,李娜为什么不照着BM的策略去打球?其实,当当事人的主观愿望不积极的时候,大数据对他们来说不过是噪音而已。同样,数据也会因为主观意愿具有欺骗性。
我们很多时候都会被误导,认为大数据的作用是让历史提示未来。其实不然。
在网球这样的领域里,历史数据甚至常常会成为陷阱。有意思的是,在另一场女子网球比赛中,一位球员做到了IBM为其制定的三项指标中的两个,她却失败了。
而胜利的一方,只完成了一个指标。
可按照时间点划分大数据的发展历程。
大数据时代发展的具体历程如下:2005年Hadoop项目诞生。 Hadoop其最初只是雅虎公司用来解决网页搜索问题的一个项目,后来因其技术的高效性,被Apache Software Foundation公司引入并成为开源应用。
Hadoop本身不是一个产品,而是由多个软件产品组成的一个生态系统,这些软件产品共同实现全面功能和灵活的大数据分析。从技术上看,Hadoop由两项关键服务构成:采用Hadoop分布式文件系统(HDFS)的可靠数据存储服务,以及利用一种叫做MapRece技术的高性能并行数据处理服务。
这两项服务的共同目标是,提供一个使对结构化和复杂数据的快速、可靠分析变为现实的基础。2008年末,“大数据”得到部分美国知名计算机科学研究人员的认可,业界组织计算社区联盟 (puting munity Consortium),发表了一份有影响力的白皮书《大数据计算:在商务、科学和社会领域创建革命性突破》。
它使人们的思维不仅局限于数据处理的机器,并提出:大数据真正重要的是新用途和新见解,而非数据本身。此组织可以说是最早提出大数据概念的机构。
2009年印度 *** 建立了用于身份识别管理的生物识别数据库,联合国全球脉冲项目已研究了对如何利用手机和社交网站的数据源来分析预测从螺旋价格到疾病爆发之类的问题。同年,美国 *** 通过启动://Data.gov网站的方式进一步开放了数据的大门,这个网站向公众提供各种各样的 *** 数据。
该网站的超过4.45万量数据集被用于保证一些网站和智能手机应用程序来跟踪从航班到产品召回再到特定区域内失业率的信息,这一行动激发了从肯尼亚到英国范围内的 *** 们相继推出类似举措。2009年,欧洲一些领先的研究型图书馆和科技信息研究机构建立了伙伴关系致力于改善在互联网上获取科学数据的简易性。
2010年2月,肯尼斯库克尔在《经济学人》上发表了长达14页的大数据专题报告《数据,无所不在的数据》。库克尔在报告中提到:“世界上有着无法想象的巨量数字信息,并以极快的速度增长。
从经济界到科学界,从 *** 部门到艺术领域,很多方面都已经感受到了这种巨量信息的影响。科学家和计算机工程师已经为这个现象创造了一个新词汇:“大数据”。
库克尔也因此成为最早洞见大数据时代趋势的数据科学家之一。2011年2月,IBM的沃森超级计算机每秒可扫描并分析4TB(约2亿页文字量)的数据量,并在美国著名智力竞赛电视节目《危险边缘》“Jeopardy”上击败两名人类选手而夺冠。
后来 *** 认为这一刻为一个“大数据计算的胜利。” 相继在同年5月,全球知名咨询公司麦肯锡(McKinsey&pany)肯锡全球研究院(MGI)发布了一份报告——《大数据:创新、竞争和生产力的下一个新领域》,大数据开始备受关注,这也是专业机构第一次全方面的介绍和展望大数据。
报告指出,大数据已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。
报告还提到,“大数据”源于数据生产和收集的能力和速度的大幅提升——由于越来越多的人、设备和传感器通过数字网络连接起来,产生、传送、分享和访问数据的能力也得到彻底变革。2011年12 月,工信部发布的物联网十二五规划上,把信息处理技术作为4 项关键技术创新工程之一被提出来,其中包括了海量数据存储、数据挖掘、图像视频智能分析,这都是大数据的重要组成部分。
2012年1月份,瑞士达沃斯召开的世界经济论坛上,大数据是主题之一,会上发布的报告《大数据,大影响》(Big Data, Big Impact) 宣称,数据已经成为一种新的经济资产类别,就像货币或黄金一样。2012年3月,美国奥巴马 *** 在白宫网站发布了《大数据研究和发展倡议》,这一倡议标志着大数据已经成为重要的时代特征。
2012年3月22日,奥巴马 *** 宣布2亿美元投资大数据领域,是大数据技术从商业行为上升到国家科技战略的分水岭,在次日的电话会议中, *** 对数据的定义“未来的新石油”,大数据技术领域的竞争,事关国家安全和未来。并表示,国家层面的竞争力将部分体现为一国拥有数据的规模、活性以及解释、运用的能力;国家数字 *** 体现对数据的占有和控制。
数字 *** 将是继边防、海防、空防之后,另一个大国博弈的空间。2012年4月,美国软件公司Splunk于19日在纳斯达克成功上市,成为第一家上市的大数据处理公司。
鉴于美国经济持续低靡、股市持续震荡的大背景,Splunk首日的突出交易表现尤其令人们印象深刻,首日即暴涨了一倍多。Splunk是一家领先的提供大数据监测和分析服务的软件提供商,成立于2003年。
Splunk成功上市促进了资本市场对大数据的关注,同时也促使IT厂商加快大数据布局。2012年7月,联合国在纽约发布了一份关于大数据政务的白皮书,总结了各国 *** 如何利用大数据更好地服务和保护人民。
这份白皮书举例说明在一个数据生态系统中,个人、公共部门和私人部门各自的角色、动机和需求:例如通过对价格关注和更好服务的渴望,个人提供数据和众包信息,并对隐。
进入2012年,大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。
它已经上过《 *** 》《华尔街日报》的专栏封面,进入美国白宫官网的新闻,现身在国内一些互联网主题的讲座沙龙中,甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。 数据正在迅速膨胀并变大,它决定着企业的未来发展,虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患,但是随着时间的推移,人们将越来越多的意识到数据对企业的重要性。
正如《 *** 》2012年2月的一篇专栏中所称,“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。哈佛大学社会学教授加里·金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是 *** ,所有领域都将开始这种进程。”
。
大数据时代:最早提出大数据时代到来的是全球知名咨询公司麦肯锡, 大数据在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注。
大数据提出的背景:进入2012年,大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。它已经上过《 *** 》《华尔街日报》的专栏封面,进入美国白宫官网的新闻,现身在国内一些互联网主题的讲座沙龙中,甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。
数据正在迅速膨胀并变大,它决定着企业的未来发展,虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患,但是随着时间的推移,人们将越来越多的意识到数据对企业的重要性。正如《 *** 》2012年2月的一篇专栏中所称,“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。
哈佛大学社会学教授加里·金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是 *** ,所有领域都将开始这种进程。” (1)麦肯锡大数据报告扩展阅读 大数据影响 现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流越来越密切,生活也越来越方便,大数据就是这个高科技时代的产物。
随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。
大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapRece一样的框架来向数十、数百或甚至数千的电脑分配工作。 在现今的社会,大数据的应用越来越彰显他的优势,它占领的领域也越来越大,电子商务、O2O、物流配送等,各种利用大数据进行发展的领域正在协助企业不断地发展新业务,创新运营模式。
有了大数据这个概念,对于消费者行为的判断,产品销售量的预测,精确的营销范围以及存货的补给已经得到全面的改善与优化。“大数据”在互联网行业指的是这样一种现象:互联网公司在日常运营中生成、累积的用户网络行为数据。
这些数据的规模是如此庞大,以至于不能用G或T来衡量。大数据到底有多大?一组名为“互联网上一天”的数据告诉我们,一天之中,互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多(相当于美国两年的纸质信件数量)。
发出的社区帖子达200万个(相当于《时代》杂志770年的文字量);卖出的手机为37.8万台,高于全球每天出生的婴儿数量37.1万…… 截止到2012年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB) EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量为0.49ZB,2009年的数据量为0.8ZB,2010年增长为1.2ZB,2011年的数量更是高达1.82ZB,相当于全球每人产生200GB以上的数据。
而到2012年为止,人类生产的所有印刷材料的数据量是200PB,全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。
而到了2020年,全世界所产生的数据规模将达到今天的44倍。 每一天,全世界会上传超过5亿张图片,每分钟就有20小时时长的视频被分享。
然而,即使是人们每天创造的全部信息——包括语音通话、电子邮件和信息在内的各种通信,以及上传的全部图片、视频与音乐,其信息量也无法匹及每一天所创造出的关于人们自身的数字信息量。这样的趋势会持续下去。
我们现在还处于所谓“物联网”的最初级阶段,而随着技术成熟,我们的设备、交通工具和迅速发展的“可穿戴”科技将能互相连接与沟通。科技的进步已经使创造、捕捉和管理信息的成本降至2005年的六分之一,而从2005年起,用在硬件、软件、人才及服务之上的商业投资也增长了整整50%,达到了4000亿美元。
大数据的精髓 大数据带给我们的三个颠覆性观念转变:是全部数据,而不是随机采样;是大体方向,而不是精确制导;是相关关系,而不是因果关系。A.不是随机样本,而是全体数据:在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样(随机采样,以前我们通常把这看成是理所应当的限制,但高性能的数字技术让我们意识到,这其实是一种人为限制); B.不是精确性,而是混杂性:研究数据如此之多,以至于我们不再热衷于追求精确度;之前需要分析的数据很少,所以我们必须尽可能精确地量化我们的记录,随着规模的扩大,对精确度的痴迷将减弱;拥有了大数据,我们不再需要对一个现象刨根问底,只要掌握了大体的发展方向即可。
适当忽略微观层面上的精确度,会让我们在宏观层面拥有更好的洞察力; C.不是因果关系,而是相关关系:我们不再热衷于找因果关系,寻找因果关系是人类长久以来的习惯,在大。
大数据是一种现代云基础架构,它包含了多种与其他人连接和共享信息的方法。它推动了“物联网”的发展,如通过社交网站连接人、通过共享朋友或网络来寻找人们之间互相认识的可能性。大数据的背后运行着人工智能,而它对于大多数人而言是完全透明的,人们不知道背后有这样的技术。大数据位于人们日常使用的智能手机之后,然后人们通过它给移动互联网贡献信息,即使他们并没有意识到这一点。
为什么大数据如此重要?
第一,对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态,这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化,将结果反馈到上述应用中,将创造出巨大的经济和社会价值。
第二,大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域,大数据将对芯片、存储产业产生重要影响,还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域,大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。
第三,大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动” 转变“数据驱动”。
总结
在大数据时代到来的时候,要用大数据的思维去发掘大数据的潜在价值。大数据的意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。从前我们所了解的数据是冷冰冰的、死气沉沉的,被存到冷备份默默地等着人拿出来用,我们对待数据的感觉十分消极,要先想清楚其用处才开始分析应用。现在,数据时代来临了,人们正在试图点燃数据,使其变热,赋予生命。所谓“活数据”,是动态的数据,流通的数据,因互动而产生,因产生而互动,是自然演化的数据,要用大数据的思维去考虑这些数据怎样才能带来效益。未来大数据的发展前景非常好,与大数据相关的职业比如数据挖掘师,数据分析师等必定会有广阔的发展空间。
这个问题是这样的:
首先你要明确你的插入是正常业务需求么?如果是,那么只能接受这样的数据插入量。
其次你说数据库存不下了 那么你可以让你的数据库上限变大 这个你可以在数据库里面设置的 里面有个数据库文件属性 maxsize
最后有个方法可以使用,如果你的历史数据不会对目前业务造成很大影响 可以考虑归档处理 定时将不用的数据移入历史表 或者另外一个数据库。
注意平时对数据库的维护 定期整理索引碎片
2. 大数据时代的产生背景
一、大数据时代城市管理的机遇:
首先,有利于数字化城市建设。城市化过程中出现的管理问题,传统的城市管理方式早已对我国出现的城市问题束手无策,在大数据时代到来的背景下,数字化城市建设就呼之欲出。
其次,有利于电子政务建设。长期以来,我国政府在处理公共事务时都基本采用了传统的处理方式,纸质化的模式占据了主要地位。随着信息技术的不断更新以及大数据时代的到来,电子政务也随之应运而生。由于大数据时代的特点以及不断更新发展,电子政务的形式也不断得到更新。
最后,有利于智慧城市建设。智慧城市建设则是在大数据技术上产生的城市建设和管理方案。可见,大数据时代的到来更加有利于我国的智慧城市建设,为智慧城市的最终建成提供真实可靠的信息基础。会在一定程度上难以实现真正共享。另外,因为信息化很不平衡,各地各部门使用的信息技术标准很难统一,最后导致数据孤岛的现象也并非个例。
二、大数据时代城市管理的挑战 :
大数据时代,机遇存在的同时也不可避免会遇到许多挑战,数据开放不足、数据共享不足、数据质量不优等等都面临着严峻的挑战。
首先,数据开放不足。数据是信息的重要载体,信息的公开在一定意义上就是数据的公开。在所有的数据公开中,政府相关数据公开尤为引人瞩目。国外早就对数据公开确立了“公开为原则,不公开为例外”的原则,我国也有类似规定,但是真实执行情况令人堪忧。
其次,数据共享不足。就目前来看,谁掌握了大量真实可靠的信息,谁就掌握了主动权,信息在一定程度上就是权威的象征,权力和利益的象征。再者,政府各部门大部分存在利己倾向, 信息就会在一定程度上难以实现真正共享。另外,因为信息化很不平衡,各地各部门使用的信息技术标准很难统一,最后导致数据孤岛的现象也并非个例。
然后,数据质量不优。数据质量问题直接影响依靠数据获得的信息的真实有效性,最终影响整体决策的有效性。数据质量主要包括数据的真实性、完整性和有效性。数据在收集、整合、存储和使用四个阶段当中,每个阶段都极有可能出现数据质量问题。在我国城市管理中,各级各部门每天都会面对大量繁琐的数据,数据收集渠道主要有下级单位上报数据、调查统计、普查等等,每一个渠道也同样会有很多因素影响数据质量。
3. 2011年什么公司发布报告,大数据开始被收关注
麦肯锡公司。大数据(big data),IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。2011年麦肯锡公司发布《大数据:创新、竞争和生产力的下一个新领域》报告,大数据开始备受关注。麦肯锡咨询公司?麦肯锡公司是世界级领先的全球管理咨询公司。
4. 简述什么是大数据时代
在我们还没有弄明白什么是云计算,什么是物联网的时候,大数据时代来了。大数据时代带来的变革影响着我们生活和工作的方方面面。那么,什么是大数据时代?我们举例说明!
“大数据时代”首次被提出
最早提出“大数据时代”到来的是全球知名咨询公司麦肯锡。 2011年5月,全球知名咨询公司麦肯锡(McKinsey&Company)肯锡全球研究院(MGI)发布了一份报告--《大数据:创新、竞争和生产力的下一个新领域》,大数据开始备受关注,这也是专业机构第一次全方面的介绍和展望大数据。报告指出,大数据已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。
报告还提到,“大数据”源于数据生产和收集的能力和速度的大幅提升--由于越来越多的人、设备和传感器通过数字网络连接起来,产生、传送、分享和访问数据的能力也得到彻底变革。
大数据在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注。进入2012年,大数据(bigdata)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。
举个实际生活中的例子,大约20年前,亚马逊刚成立时,杰夫·贝索斯让50个书评员来为他卖书,他意识到不仅仅可以请人来写书评,还可以用数据技术来提供图书推荐。起初他使用的是小数据,不是大数据,把客户进行分类,比如说有人对中国旅游或者是对园艺感兴趣,系统会自动提供推荐。他的同事告诉他,刚刚开始使用这个数据推荐时,使用体验并不好;在进一步分析后,亚马逊决定不对人进行分类,而是对用户的需求分类。这个做法做法非常成功,以至于到今天,推荐系统为亚马逊带去30%的销售收入。
什么是大数据时代?我们再通俗一点讲,就是在不影响你隐私的前提下,让你的生活很便捷。例如我要去北京出差,我忙完手里的事情,楼下已经有专车在等候送我去机场,专车根据大数据实时路况选了一条最优方案把我准点送达机场,下飞机的时候,车子已经在等我,并且把我送到了我比较喜欢而且价位适合的宾馆,到了宾馆,我喜欢的美食已经准备妥当,房间温度已经达到最佳,浴室水温已经正好合适,我喜欢的美人已经在床上宽衣解带等候宠幸……
大数据时代就是能够根据我实时产生的数据来不断给我匹配我想要的东西,让生活超级便捷。
5. 大数据的起源是金融还是公共管理,互联网
大数据的起源是互联网。大数据目的是为了更好了解客户喜好,它将海量碎片化专的信息数属据进行筛选、分析,并最终归纳、整理出企业需要的咨讯。而这些海量的信息则来源于互联网。
资料扩展
大数据主要的几个应用领域及发展前景
1.电商行业是最早利用大数据进行精准营销,它根据客户的消费习惯提前生产资料、物流管理等,有利于精细社会大生产。
2.大数据在金融行业应用范围是比较广的,它更多应用于交易,现在很多股权的交易都是利用大数据算法进行,这些算法现在越来越多的考虑了社交媒体和网站新闻来决定在未来几秒内是买出还是卖出。
3.大数据还被应用改善我们日常生活的城市。例如基于城市实时交通信息、利用社交网络和天气数据来优化最新的交通情况。目前很多城市都在进行大数据的分析和试点。
4.基因技术是人类未来挑战疾病的重要武器,科学家可以借助大数据技术的应用,从而也会加快自身基因和其它动物基因的研究过程,这将是人类未来战胜疾病的重要武器之一,未来生物基因技术不但能够改良农作物,还能利用基因技术培养人类器官和消灭害虫等。
6. 盘点政府推动大数据应用及发展的举措
盘点政府推动大数据应用及发展的举措
一、政府:推动大数据应用的最关键力量
(一)政府掌握大量最具应用价值的核心数据,是推动大数据应用的最关键力量
根据麦肯锡大数据研究报告指出, 各个行业利用大数据价值的难易度以及发展潜力 对比下,政府利用大数据难度最低而潜力最大。
大数据
另一方面政府开放大数据运用已经是大势所趋:
1、 政府掌握了大量最具应用价值的核心数据。 过去十多年来政府投资进行了大量电子政务或者称为政府信息化的工作,后台积累了大量的数据,而这些数据和公众的生产生活息息相关。有研究表明政府所掌握的数据使政府成为了一个国家最重要的信息保有者,有百分之七十到八十的核心数据存在于政府的后台 。
2、 开放数据本身就是政府在大数据时代提供的一项公共服务。 政府数据本质上是国家机关在履行职责时所获取的数据,采集这些数据的经费来自于公共财政,因而这些数据是公共产品,归全社会所有,应取之于民,用之于民。
3、 政府开放数据供社会进行增值开放和创新应用,推动经济增长乃至整个经济增长方式的转型。 数据是互联网创新的重要基础,如果政府不开放这一部分数据,很多创新应用没有数据作为支持,数据开发者能利用政府开放的数据,提供更好的服务,创造更多的价值, 这个过程能够提高整个国家在大数据时代的竞争力。
4、 政府开放数据推动经济增长获得的税收高于单纯卖数据获得的收入。 201 年世界经合组织在关于开放政府数据的报告中提到政府通过开放数据推动经济增长,从而获得的税收收入远高于单卖数据所能获得收入。开放数据激发经济活力从而得到税收提升,这是一个良 性循环,更是一个能创造巨大公共价值的全局性的战略。
(二) 国内外政府开放数据的情况
在 2009 年奥巴马签署开放政府数据的行政命令后,这些年来开放政府数据已成为了世界性的一个趋势。美国联邦数据平台 Data.gov 上线后,在美洲、欧洲、亚洲等地,开放政府数据已成为了政府的一项重要工作。美国联邦政府的开放政府数据平台开放了来自多个领 域的 13 万个数据集的数据。这些领域包括图中所列的农业、商业、气候、生态、教育、能源、金融、卫生、科研等十多个主题。这些主题下的数据都是美国联邦政府的各个部委所开放的。英国、加拿大、新西兰等国在 2009 年之后都建立起了政府数据开放平台,成为 了国际信息化和大数据领域的一个重要趋势。
大数据
在我国, 2011 年香港特区政府上线了 data.gov.hk,称为香港政府资料一线通。上海在 2012年 6 月推出了中国大陆第一个数据开放平台。之后,北京、武汉、无锡、佛山南海等城市也都上线了自己的数据平台。
大数据
(三)、 大数据对于政府治理具有极大的价值
大数据其实对政府的治理带来了全新的价值,无论是对宏观经济的决策能力、产业聚集能力、协同治理能力、社会管理能力、公众服务能力、快速响应能力的提升,大数据都可以在有很大层面上帮助政府治理。
大数据大数据
(四)、大数据上升至国家战略成为共识。
大数据时代,对大数据的开发、利用与保护的争夺日趋激烈,制信权成为继制陆权、制海权、制空权之后的新制权,大数据处理能力成为强国弱国区分的又一重要指标。国际上以美国为代表的发达国家纷纷布局大数据产业,相继推出大数据相关政策,大力支持大数据产 业在本国的发展。以美国为例,美国从开展关键技术研究、推动大数据应用和开放政府数据三方面布局大数据产业,尤其在开放政府数据方面非常积极,通过 Data.gov开放 37 万个数据集,并开放网站的 API 和源代码,提供上千个数据应用。我们认为,大数据未来将 引发新一轮大国竞争,大数据对整个世界的影响力会呈现爆发性增长趋势,因此包括我国在内的国家会在政策支持力度上不断提升,大数据战略将上升至国家战略已毋庸臵疑。
大数据
(五)、 我国 高度重视大数据未来发展
自去年 3 月“大数据”首次出现在《政府工作报告》中以来,国务院常务会议一年内 6次提及大数据运用。近期在 6 月 17 日的国务院常务会议上,李克强总理再次强调“我们正在推进简政放权,放管结合、优化服务,而大数据手段的运用十分重要。” 7 月 1 日, 国务院办公厅印发了《关于运用大数据加强对市场主体服务和监管的若干意见》。
大数据
大数据大数据
(六). 各部委行动时间表已经确,我国大数据发展面临历史性机遇
值得注意的是,近期国务院出台文件对各个部委推进大数据任务制定了明确的时间表,很多推进工作任务要求在 2015 年 12 月底前出台政策并实施,近期将是我国大数据发展政策出台的密集期。
表 3: 各部委推进大数据应用时间表
序号工作任务负责单位时间进度1加快建立公民、法人和其他组织统一社会信用代码制度。发展改革委、中央编办、公安部、民政部、人民银行、税务总局、工商总局、质检总局2015 年 12 月底前出台并实施2全面实行工商营业执照、组织机构代码证和税务登记证“三证合一”、 “一照一码”登记制度改革。工商总局、中央编办、发展改革委、质检总局、税务总局2015 年 12 月底前实施3建立多部门网上项目并联审批平台,实现跨部门、跨层级项目审批、核准、备案的“统一受理、同步审查、信息共享、透明公开”。发展改革委会同有关部门2015 年 12 月底前完成4推动政府部门整合相关信息,紧密结合企业需求,利用网站和微博、微信等新兴媒体为企业提供服务。网信办、工业和信息化部持续实施5研究制定在财政资金补助、政府采购、政府购买服务、政府投资工程建设招投标过程中使用信用信息和信用报告的政策措施。财政部、发展改革委2015 年 12 月底前出台并实施6充分运用大数据技术,改进经济运行监测预测和风险预警,并及时向社会发布相关信息,合理引导市场预期。发展改革委、统计局持续实施7支持银行、证券、信托、融资租赁、担保、保险等专业服务机构和行业协会、商会运用大数据为企业提供服务。人民银行、银监会、证监会、保监会、民政部持续实施8健全事中事后监管机制,汇总整合和关联分析有关数据,构建大数据监管模型,提升政府科学决策和风险预判能力。各市场监管部门2015 年 12 月底前取得阶段性成果9在办理行政许可等环节全面建立市场主体准入前信用承诺制度。 信用承诺向社会公开,并纳入市场主体信用记录。各行业主管部门2015 年广泛开展试点, 2017 年 12 月底前完成10加快建设地方信用信息共享交换平台、部门和行业信用信息系统,通过国家统一的信用信息共享交换平台实现互联共享。各省级人民政府,各有关部门2016 年 12 月底前完成11建立健全失信联合惩戒机制,将使用信用信息和信用报告嵌入行政管理和公共服务的各领域、各环节,作为必要条件或重要参考依据。在各领域建立跨部门联动响应和失信约束机制。建立各行业“黑名单”制度和市场退出机制。推动将申请人良好的信用状况作为各类行政许可的必备条件。各有关部门,各省级人民政府2015 年 12 月底前取得阶段性成果12建立产品信息溯源制度,加强对食品、药品、农产品、日用消费品、特种设备、地理标志保护产品等重要产品的监督管理,利用物联网、射频识别等信息技术,建立产品质量追溯体系,形成来源可查、去向可追、责任可究的信息链条。商务部、网信办会同食品药品监管总局、农业部、质检总局、工业和信息化部2015 年 12 月底前出台并实施13加强对电子商务平台的监督管理,加强电子商务信息采集和分析,指导开展电子商务网站可信认证服务,推广应用网站可信标识,推进电子商务可信交易环境建设。健全权益保护和争议调处机制。工商总局、商务部、网信办、工业和信息化部持续实施14进一步加大政府信息公开和数据开放力度。除法律法规另有规定外,将行政许可、行政处罚等信息自作出行政决定之日起 7 个工作日内上网公开。各有关部门,各省级人民政府持续实施15加快实施经营异常名录制度和严重违法失信企业名单制度。建设国家企业信用信息公示系统,依法对企业注册登记、行政许可、行政处罚等基本信用信息以及企业年度报告、经营异常名录和严重违法失信企业名单进行公示,并与国家统一的信用信息共享交换平台实现有机对接和信息共享。工商总局、其他有关部门,各省级人民政府持续实施16支持探索开展社会化的信用信息公示服务。建设“信用中国 ”网站,归集整合各地区、各部门掌握的应向社会公开的信用信息,实现信用信息一站式查询,方便社会了解市场主体信用状况。各级政府及其部门网站要与 “信用中国 ”网站连接,并将本单位政务公开信息和相关市场主体违法违规信息在“信用中国 ”网站公开。发展改革委、人民银行、其他有关部门,地方各级人民政府2015 年 12 月底前完成17推动各地区、各部门已建、在建信息系统互联互通和信息交换共享。在部门信息系统项目审批和验收环节,进一步强化对信息共享的要求。发展改革委、其他有关部门持续实施18健全国家电子政务网络,加快推进国家政务信息化工程建设,统筹建立人口、法人单位、自然资源和空间地理、宏观经济等国家信息资源库,加快建设完善国家重要信息系统。发展改革委、其他有关部门分年度推进实施, 2020 年前基本建成19加强对市场主体相关信息的记录,形成信用档案。对严重违法失信的市场主体,按照有关规定列入“黑名单”,并将相关信息纳入企业信用信息公示系统和国家统一的信用信息共享交换平台。各有关部门2015 年 12 月底前实施20探索建立政府信息资源目录。各有关部门2016 年 12 月底前出台目录编制指南21引导征信机构根据市场需求,大力加强信用服务产品创新,进一步扩大信用报告在行政管理和公共服务及银行、证券、保险等领域的应用。发展改革委、人民银行、银监会、证监会、保监会2017 年 12 月底前取得阶段性成果22落实和完善支持大数据产业发展的财税、金融、产业、人才等政策,推动大数据产业加快发展。发展改革委、工业和信息化部、财政部、人力资源社会保障部、人民银行、网信办、银监会、证监会、保监会2017 年 12 月底前取得阶段性成果23加快研究完善规范电子政务,监管信息跨境流动,保护国家经济安全、信息安全,以及保护企业商业秘密、个人隐私方面的管理制度,加快制定出台相关法律法规。网信办、公安部、工商总局、工业和信息化部、发展改革委等部门会同法制办2017 年 12 月底前出台(涉及法律、行政法规的,按照立法程序推进)24推动出台相关法规,对政府部门在行政管理、公共服务中使用信用信息和信用报告作出规定,为联合惩戒市场主体违法失信行为提供依据。发展改革委、人民银行、法制办2017 年 12 月底前出台(涉及法律、行政法规的,按照立法程序推进)25建立大数据标准体系,研究制定有关大数据的基础标准、技术标准、应用标准和管理标准等。加快建立政府信息采集、存储、公开、共享、使用、质量保障和安全管理的技术标准。引导建立企业间信息共享交换的标准规范。工业和信息化部、国家标准委、发展改革委、质检总局、网信办、统计局2020 年前分步出台并实施26推动实施大数据示范应用工程,在工商登记、统计调查、质量监管、竞争执法、消费维权等领域率先开展示范应用工程,实现大数据汇聚整合。在宏观管理、税收征缴、资源利用与环境保护、食品药品安全、安全生产、信用体系建设、健康医疗、劳动保障、教育文化、交通旅游、金融服务、中小企业服务、工业制造、现代农业、商贸物流、社会综合治理、收入分配调节等领域实施大数据示范应用工程。