『壹』 盘点政府推动大数据应用及发展的举措
盘点政府推动大数据应用及发展的举措
一、政府:推动大数据应用的最关键力量
(一)政府掌握大量最具应用价值的核心数据,是推动大数据应用的最关键力量
根据麦肯锡大数据研究报告指出, 各个行业利用大数据价值的难易度以及发展潜力 对比下,政府利用大数据难度最低而潜力最大。
大数据
另一方面政府开放大数据运用已经是大势所趋:
1、 政府掌握了大量最具应用价值的核心数据。 过去十多年来政府投资进行了大量电子政务或者称为政府信息化的工作,后台积累了大量的数据,而这些数据和公众的生产生活息息相关。有研究表明政府所掌握的数据使政府成为了一个国家最重要的信息保有者,有百分之七十到八十的核心数据存在于政府的后台 。
2、 开放数据本身就是政府在大数据时代提供的一项公共服务。 政府数据本质上是国家机关在履行职责时所获取的数据,采集这些数据的经费来自于公共财政,因而这些数据是公共产品,归全社会所有,应取之于民,用之于民。
3、 政府开放数据供社会进行增值开放和创新应用,推动经济增长乃至整个经济增长方式的转型。 数据是互联网创新的重要基础,如果政府不开放这一部分数据,很多创新应用没有数据作为支持,数据开发者能利用政府开放的数据,提供更好的服务,创造更多的价值, 这个过程能够提高整个国家在大数据时代的竞争力。
4、 政府开放数据推动经济增长获得的税收高于单纯卖数据获得的收入。 201 年世界经合组织在关于开放政府数据的报告中提到政府通过开放数据推动经济增长,从而获得的税收收入远高于单卖数据所能获得收入。开放数据激发经济活力从而得到税收提升,这是一个良 性循环,更是一个能创造巨大公共价值的全局性的战略。
(二) 国内外政府开放数据的情况
在 2009 年奥巴马签署开放政府数据的行政命令后,这些年来开放政府数据已成为了世界性的一个趋势。美国联邦数据平台 Data.gov 上线后,在美洲、欧洲、亚洲等地,开放政府数据已成为了政府的一项重要工作。美国联邦政府的开放政府数据平台开放了来自多个领 域的 13 万个数据集的数据。这些领域包括图中所列的农业、商业、气候、生态、教育、能源、金融、卫生、科研等十多个主题。这些主题下的数据都是美国联邦政府的各个部委所开放的。英国、加拿大、新西兰等国在 2009 年之后都建立起了政府数据开放平台,成为 了国际信息化和大数据领域的一个重要趋势。
大数据
在我国, 2011 年香港特区政府上线了 data.gov.hk,称为香港政府资料一线通。上海在 2012年 6 月推出了中国大陆第一个数据开放平台。之后,北京、武汉、无锡、佛山南海等城市也都上线了自己的数据平台。
大数据
(三)、 大数据对于政府治理具有极大的价值
大数据其实对政府的治理带来了全新的价值,无论是对宏观经济的决策能力、产业聚集能力、协同治理能力、社会管理能力、公众服务能力、快速响应能力的提升,大数据都可以在有很大层面上帮助政府治理。
大数据大数据
(四)、大数据上升至国家战略成为共识。
大数据时代,对大数据的开发、利用与保护的争夺日趋激烈,制信权成为继制陆权、制海权、制空权之后的新制权,大数据处理能力成为强国弱国区分的又一重要指标。国际上以美国为代表的发达国家纷纷布局大数据产业,相继推出大数据相关政策,大力支持大数据产 业在本国的发展。以美国为例,美国从开展关键技术研究、推动大数据应用和开放政府数据三方面布局大数据产业,尤其在开放政府数据方面非常积极,通过 Data.gov开放 37 万个数据集,并开放网站的 API 和源代码,提供上千个数据应用。我们认为,大数据未来将 引发新一轮大国竞争,大数据对整个世界的影响力会呈现爆发性增长趋势,因此包括我国在内的国家会在政策支持力度上不断提升,大数据战略将上升至国家战略已毋庸臵疑。
大数据
(五)、 我国 高度重视大数据未来发展
自去年 3 月“大数据”首次出现在《政府工作报告》中以来,国务院常务会议一年内 6次提及大数据运用。近期在 6 月 17 日的国务院常务会议上,李克强总理再次强调“我们正在推进简政放权,放管结合、优化服务,而大数据手段的运用十分重要。” 7 月 1 日, 国务院办公厅印发了《关于运用大数据加强对市场主体服务和监管的若干意见》。
大数据
大数据大数据
(六). 各部委行动时间表已经确,我国大数据发展面临历史性机遇
值得注意的是,近期国务院出台文件对各个部委推进大数据任务制定了明确的时间表,很多推进工作任务要求在 2015 年 12 月底前出台政策并实施,近期将是我国大数据发展政策出台的密集期。
表 3: 各部委推进大数据应用时间表
序号工作任务负责单位时间进度1加快建立公民、法人和其他组织统一社会信用代码制度。发展改革委、中央编办、公安部、民政部、人民银行、税务总局、工商总局、质检总局2015 年 12 月底前出台并实施2全面实行工商营业执照、组织机构代码证和税务登记证“三证合一”、 “一照一码”登记制度改革。工商总局、中央编办、发展改革委、质检总局、税务总局2015 年 12 月底前实施3建立多部门网上项目并联审批平台,实现跨部门、跨层级项目审批、核准、备案的“统一受理、同步审查、信息共享、透明公开”。发展改革委会同有关部门2015 年 12 月底前完成4推动政府部门整合相关信息,紧密结合企业需求,利用网站和微博、微信等新兴媒体为企业提供服务。网信办、工业和信息化部持续实施5研究制定在财政资金补助、政府采购、政府购买服务、政府投资工程建设招投标过程中使用信用信息和信用报告的政策措施。财政部、发展改革委2015 年 12 月底前出台并实施6充分运用大数据技术,改进经济运行监测预测和风险预警,并及时向社会发布相关信息,合理引导市场预期。发展改革委、统计局持续实施7支持银行、证券、信托、融资租赁、担保、保险等专业服务机构和行业协会、商会运用大数据为企业提供服务。人民银行、银监会、证监会、保监会、民政部持续实施8健全事中事后监管机制,汇总整合和关联分析有关数据,构建大数据监管模型,提升政府科学决策和风险预判能力。各市场监管部门2015 年 12 月底前取得阶段性成果9在办理行政许可等环节全面建立市场主体准入前信用承诺制度。 信用承诺向社会公开,并纳入市场主体信用记录。各行业主管部门2015 年广泛开展试点, 2017 年 12 月底前完成10加快建设地方信用信息共享交换平台、部门和行业信用信息系统,通过国家统一的信用信息共享交换平台实现互联共享。各省级人民政府,各有关部门2016 年 12 月底前完成11建立健全失信联合惩戒机制,将使用信用信息和信用报告嵌入行政管理和公共服务的各领域、各环节,作为必要条件或重要参考依据。在各领域建立跨部门联动响应和失信约束机制。建立各行业“黑名单”制度和市场退出机制。推动将申请人良好的信用状况作为各类行政许可的必备条件。各有关部门,各省级人民政府2015 年 12 月底前取得阶段性成果12建立产品信息溯源制度,加强对食品、药品、农产品、日用消费品、特种设备、地理标志保护产品等重要产品的监督管理,利用物联网、射频识别等信息技术,建立产品质量追溯体系,形成来源可查、去向可追、责任可究的信息链条。商务部、网信办会同食品药品监管总局、农业部、质检总局、工业和信息化部2015 年 12 月底前出台并实施13加强对电子商务平台的监督管理,加强电子商务信息采集和分析,指导开展电子商务网站可信认证服务,推广应用网站可信标识,推进电子商务可信交易环境建设。健全权益保护和争议调处机制。工商总局、商务部、网信办、工业和信息化部持续实施14进一步加大政府信息公开和数据开放力度。除法律法规另有规定外,将行政许可、行政处罚等信息自作出行政决定之日起 7 个工作日内上网公开。各有关部门,各省级人民政府持续实施15加快实施经营异常名录制度和严重违法失信企业名单制度。建设国家企业信用信息公示系统,依法对企业注册登记、行政许可、行政处罚等基本信用信息以及企业年度报告、经营异常名录和严重违法失信企业名单进行公示,并与国家统一的信用信息共享交换平台实现有机对接和信息共享。工商总局、其他有关部门,各省级人民政府持续实施16支持探索开展社会化的信用信息公示服务。建设“信用中国 ”网站,归集整合各地区、各部门掌握的应向社会公开的信用信息,实现信用信息一站式查询,方便社会了解市场主体信用状况。各级政府及其部门网站要与 “信用中国 ”网站连接,并将本单位政务公开信息和相关市场主体违法违规信息在“信用中国 ”网站公开。发展改革委、人民银行、其他有关部门,地方各级人民政府2015 年 12 月底前完成17推动各地区、各部门已建、在建信息系统互联互通和信息交换共享。在部门信息系统项目审批和验收环节,进一步强化对信息共享的要求。发展改革委、其他有关部门持续实施18健全国家电子政务网络,加快推进国家政务信息化工程建设,统筹建立人口、法人单位、自然资源和空间地理、宏观经济等国家信息资源库,加快建设完善国家重要信息系统。发展改革委、其他有关部门分年度推进实施, 2020 年前基本建成19加强对市场主体相关信息的记录,形成信用档案。对严重违法失信的市场主体,按照有关规定列入“黑名单”,并将相关信息纳入企业信用信息公示系统和国家统一的信用信息共享交换平台。各有关部门2015 年 12 月底前实施20探索建立政府信息资源目录。各有关部门2016 年 12 月底前出台目录编制指南21引导征信机构根据市场需求,大力加强信用服务产品创新,进一步扩大信用报告在行政管理和公共服务及银行、证券、保险等领域的应用。发展改革委、人民银行、银监会、证监会、保监会2017 年 12 月底前取得阶段性成果22落实和完善支持大数据产业发展的财税、金融、产业、人才等政策,推动大数据产业加快发展。发展改革委、工业和信息化部、财政部、人力资源社会保障部、人民银行、网信办、银监会、证监会、保监会2017 年 12 月底前取得阶段性成果23加快研究完善规范电子政务,监管信息跨境流动,保护国家经济安全、信息安全,以及保护企业商业秘密、个人隐私方面的管理制度,加快制定出台相关法律法规。网信办、公安部、工商总局、工业和信息化部、发展改革委等部门会同法制办2017 年 12 月底前出台(涉及法律、行政法规的,按照立法程序推进)24推动出台相关法规,对政府部门在行政管理、公共服务中使用信用信息和信用报告作出规定,为联合惩戒市场主体违法失信行为提供依据。发展改革委、人民银行、法制办2017 年 12 月底前出台(涉及法律、行政法规的,按照立法程序推进)25建立大数据标准体系,研究制定有关大数据的基础标准、技术标准、应用标准和管理标准等。加快建立政府信息采集、存储、公开、共享、使用、质量保障和安全管理的技术标准。引导建立企业间信息共享交换的标准规范。工业和信息化部、国家标准委、发展改革委、质检总局、网信办、统计局2020 年前分步出台并实施26推动实施大数据示范应用工程,在工商登记、统计调查、质量监管、竞争执法、消费维权等领域率先开展示范应用工程,实现大数据汇聚整合。在宏观管理、税收征缴、资源利用与环境保护、食品药品安全、安全生产、信用体系建设、健康医疗、劳动保障、教育文化、交通旅游、金融服务、中小企业服务、工业制造、现代农业、商贸物流、社会综合治理、收入分配调节等领域实施大数据示范应用工程。
『贰』 如何实施政府大数据平台
随着信息技术的飞速发展,各领域的数据量都在爆发式增长,尤其在云计算、物联网、移动互联网等it技术得到广泛应用之后,数据的增长实现了从量变到质变的转型,大数据如浪潮般席卷而来,人类社会进入大数据时代。大数据不仅仅只是一次颠覆性的技术革命,更是一场思维方式、行为模式与治理理念的全方位变革,尤其在政府治理领域,大数据带来了巨大的变革潜力和创新空间。在“全面深化改革,推进国家治理体系和治理能力现代化”的时代背景下,应充分重视大数据在政府治理中的重要价值,牢牢抓住大数据为政府治理提供的创新机遇,切实提高各级政府部门的治理能力。
一、大数据为政府治理理念转型带来新机遇
治理理念的转型是提升政府治理能力的前提,理念的转型需要新文化、新思维的融入,大数据所蕴含的数据文化与数据思维恰好可以为治理理念转型提供突破口,基于大数据探索政府治理的多元、多层、多角度特征,最终实现以政府为主体的政府管制理念向以协同共治、公共服务为导向的政府治理理念的转型。在大数据时代,政府治理的依据不再是个人经验和长官意志,而是实实在在的数据,在过去深入群众、实地调研考察的基础上,系统采集的客观数据和实证分析的科学结果将成为最为重要的政府决策依据。“尊重事实、推崇理性、强调精确”的特征和“用数据说话、用数据决策、用数据管理、用数据创新”的理念将成为政府治理理念转型的核心要义。
二、大数据为政府治理模式创新带来新机遇
大数据通过把数学算法运用于海量数据,从数据中寻找相关关系,通过这种相关性预测事情发生的可能性,这是大数据方法论的核心思想。此外,依托于大数据技术和平台,通过外包、众包等灵活的组织方式,可以推动政府治理的组织架构从科层、分割、封闭向开放、协同、合作转型,因此把大数据的方法和手段引入到政府治理领域,是实现政府治理模式创新的有效路径。基于上述方法论,大数据为政府治理模式创新带来的新机遇主要包括:从粗放式管理到精细化治理、从单兵作战型管理到协作共享型治理、从被动响应型管理到主动预见型治理、从电子政务管理到政府2.0治理、从风险隐蔽型管理到风险防范型治理,最终实现全面数据驱动的治理模式创新。
三、大数据为政府决策科学化带来新机遇
随着公共事务的日益复杂,仅凭个人感知已经很难全面了解所有正在发生的事情并做出正确判断,政府部门想要提高决策的科学性,就需要把大数据思维与技术运用到政府治理与决策中,依靠大规模数据的收集来直观呈现经济社会运行规律,通过相应的数据挖掘来辅助政府部门进行科学决策。大数据为政府决策科学化带来的机遇主要体现在两个方面:首先,在决策的制定阶段,大数据背景下,政府决策不再是个别领导干部“拍脑袋”做出的,而是通过“用数据说话”,让听得见炮火的人(数据)做出决策,这样的政府决策是在对客观数据进行科学分析、充分了解客观现实的基础上做出的,这样大大提高了决策的精准性、适用性和科学化水平;其次,在决策实施效果的跟踪反馈阶段,通过物联网和社交网络的普及,大量的客观数据能够快速汇集给决策者,通过这些数据对决策的实施过程和效果进行实时监控,能够更全面地掌握决策的实施效果和下一步的改进方向。
四、大数据为政府服务效能提升带来新机遇
提升政府服务效能是政府治理能力提升的重要支撑,也是大数据背景下服务型政府建设的关键所在,在政府治理的范畴下,提升政府服务效能主要包括政府部门行政审批的效率提升和公共服务产品的质量提高两个方面。在提升行政审批效率方面,大数据可以打通各个政府部门的信息孤岛,打破各部门数据的条块分割,通过构建统一的政府行政审批云平台,让数据为老百姓“跑腿办事”,省去了“跑断腿、磨破嘴,办事跑十几个部门,盖几十个公章”的苦恼和无奈,这样既提高了行政审批效率,又节约了政府开支。在提高公共服务产品质量方面,大数据通过对公共服务产品数据和服务对象数据的挖掘、分析,提升公共服务产品供给的精准化、分层化、个性化;通过公共数据的开放和兼容,让公众参与到公共服务产品设计、提供和监督等各个环节,实现公共服务产品质量的提高。
『叁』 对运用大数据服务职工的思考
对运用大数据服务职工的思考
工会运用大数据,是以数据激发工会组织活力,从工会的角度分析数据、应用数据,并让其成为工会组织服务不可缺少的一部分;就是以数据管理工会工作,以数据服务职工,让收集和使用数据成为工会工作的重要一环,只有这样,才能更好地服务职工。
时下,谈论大数据的意义或作用,归根到底就是辅助决策。利用大数据进行分析,能够总结经验,发现规律,预测趋势,为辅助决策服务。掌握的信息越多,决策才能越科学、精准、合理。也可以这样说,大数据本身不产生价值,大数据必须和其他具体领域、行业相结合,提供决策帮助才具有价值,并影响到每个人的工作、生活和思维。
大数据也被称为巨量资本,发挥其数据量大、种类多、实时性强、价值大等优势,为工会所用、为职工服务,理应成为各级工会组织的必修课,以更好地服务基层、服务职工。因此,大数据、云计算技术的运用,已成为不可阻挡的潮流。
事实上,无论教育引导职工,还是为职工服务,工会组织都要站在信息技术与社会变化的交汇点上,使工会的各项工作用“数据说话”。近几年,虽然工会组织在为基层、为职工服务方面不断采取积极措施,但职工的满意度还是不高,工会组织“娘家人”的形象仍未真正体现。细究其中原因,服务工作略显零碎散乱是其主因。
工会组织与政府有关部门为职工服务的资源缺乏统筹,工会服务职工的信息不对称、针对性不强,缺乏个性化等,由此产生职工服务的供需矛盾。从职工需求而言,农民工子女入学难,困难职工吃住难,下岗职工再就业难等问题,还没能从根本上解决。从这个意义上说,各级工会组织有必要搭乘大数据、云计算的“顺风车”,提高服务职工的精准度。
眼下,对于工会组织而言,缺的并不是数据,而是快速获取、处理、分析和提取有价值的、海量的交易数据、交互数据的意识和手段。培育并丰富这一意识和手段,推进工会组织的网络化建设,培养工会干部的“数据观念”,应用好“数据思维”,积极探索建立工会大数据处理中心,应用综合平台和职工服务平台,连接电脑终端、移动终端,建立微信和工会网站,设置工会办公、物联、维权、帮扶、阅读、社区、众筹等模块,将数据进行汇聚、关联、优化,实现工会流程的无缝对接,最终能使职工享受到“一站式”、“智能化”的服务。
大数据为职工服务,离不开工会“信息基础设施”建设,必须由易到难,从简到繁,由门槛相对较低到技术含量较高的方向努力。大数据与云计算必须有机结合,相辅相成。大数据挖掘处理需要云计算作为平台,支撑大数据挖掘,而大数据涵盖的价值和规律又使云计算更好地为工会的应用发挥更大的作用,作为实时交互海量数据的查询、分析,提供各自需要的有价值的信息。
如此一来,大数据改变了工会工作。过去,首先认识的是事物的表面,通过因果关系,将有限的工会“先进典型”剖析其中的内在机理,逐步推开,从而找到工作规律。而现在可以利用高效、低成本的计算资源分析海量数据与工会工作的相关性,在有关数据上呈现一种秩序,快速找到工会工作共性规律。
置身于大数据时代,带给人们的思维方式发生根本变化,从“自然思维”转向“智能思维”,使得大数据也像有生命力一样,获得类似于“人脑”的智能,甚至智慧。工会运用大数据,是以数据激发工会组织活力,从工会的角度分析数据、应用数据,并让其成为工会组织服务不可缺少的一部分;就是以数据管理工会工作,以数据服务职工,让收集和使用数据成为工会工作的重要一环,只有这样,才能更好地服务职工。
『肆』 大数据在公安领域的应用
目前对于公安大数据的应用方式,可以分为以下三个层次:
(一)统计查询:这是对大数据最基本的应用方式,主要面向历史与现状,回答已经发生了什么事情,如流动人口分区域统计、实有车辆归属地统计、各类案件的数量分布和趋势。
(二)数据挖掘:是目前大数据的核心应用方式,其重点不在于发现因果,而是发现数据之间的关联关系。这种关系可能可以直观解释,也可能不能马上发现其中的深层次原因,但对工作具有一定指导意义,比如季节气候与某些类型案件的关联关系、车辆活动范围、活动习惯与黑车的关联关系。
(三)预测预判:是大数据应用未来的发展方向,在数据统计、分析、挖掘的基础上,建立起合适的数据模型,从数据的关联关系入手,推导出因果关系,能够对一定时期内的趋势走向做出预测,对危险信号做出预警,指导预防工作的走向。
这三个层次具体到实际业务系统,包括图侦、车辆特征分析系统、人员特征分析系统、视频侦查系统等等。这些系统以普通视频监控、车辆/人员卡口、智 能IPC等监控前端获取的视频、图片、结构化描述为基础,通过大数据平台的智能分析,实现如以图搜图、语义搜图、车辆/人员布控、疑似案件对比、详细特征分析等等深度大数据应用,帮助公安能够快速、科学地侦破案件。
公安大数据应用于不同警种,由于其实际应用需求的区别,解决的问题也有所区别。如智能交通领域,目前大数据主要应用于车辆的疏导,比如基于不同道路、路口车流量的统计(时、日、月统计等),根据这些统计可以分析不同时段某条道路实时的车流密度、发展方向和趋势等。这些应用目前已在很多大城市落地,比如平时大家在公交上看到移动电视里播放的上下班高峰路段实时画面,就是基于大数据的技术分析所得。
『伍』 大数据在社会治理中的创新应用实践
大数据在社会治理中的创新应用实践
交通拥堵一直是令城市管理者十分头疼的难题。为缓解交通拥堵,利用信息技术是其中的新方向之一。2012年IBM的研究者与法国里昂市合作开发了一套缓解道路拥堵的系统——“决策支持系统优化器”,通过整合、分析市政网络现有交通数据以及来自社交媒体的新数据来医治交通顽疾。这只是运用大数据来解决社会治理难题的一个初级案例,不远的将来,利用大数据技术进行社会决策与治理,有可能成为政府行使职能的常态。大数据技术为社会治理带来新机遇社会治理是对社会的经济、政治和文化等事务进行的组织、协调、指导、规范、监督的过程。它涉及合理有效配置社会资源,比如提供教育、文化、卫生、体育、社会保障等社会公共服务和公共产品,保障社会公平与公正;涉及通过行政及司法手段保障社会安全和社会稳定。而社会治理目标的实现,是以掌握治理对象的状况及其外部环境的信息为前提的。现阶段,我国正处在社会转型期,急剧发展变化的社会,对于包括人、财、物、事等在内的庞大而复杂的社会管理信息需求,与当前大数据技术的发展不期而遇。创新社会治理,是我国应对社会转型、化解社会矛盾、协调利益关系、维护社会秩序所面临的一项重大战略任务。针对目前社会治理领域普遍存在的服务理念滞后、决策机制不够科学、部门协作亟须加强、工作方式待改进与工作效率求提升等问题,大数据技术从认识、理论、方法、实践和效果评估等方面都能给人以启发。大数据技术通过对海量数据的快速收集与挖掘、及时研判与共享,成为支持社会治理科学决策和准确预判的有力手段,为社会转型期的社会治理创新带来了机遇。大数据在社会治理中的创新应用实践建立大数据中心,及时搜集、实时处理数据信息,为科学决策提供坚实基础。政府部门是社会治理的主导者,在出台社会规范和政策时,依赖大数据进行分析,可以减少因缺少数据支撑而带来的偏差,提高公共服务的效率。实践中,浙江法院系统通过建立全国法院案件信息数据库,及时、全面、准确地采集反映案件及其审理过程情况的各类信息,为加强对办案的全流程监管,实现科学分类、多元检索和海量数据的分析比对奠定了基础。打造大数据电子政务平台,畅通利益诉求与沟通渠道,建立主动应对的社会治理模式。大数据分析注重用户行为的分析和反馈,通过网上办事、区域联动、资源共享的电子政务平台和网格化社会管理体系,促进政府和公众互动,获取公众行为的大数据并加以分析,可以更加及时地发现社会矛盾和问题,将过去政府被动应对问题转变为主动发现问题和解决问题的治理模式。对社会大数据进行历时性和实时性分析,加强社会风险控制,提高政府预测预警能力和应急响应能力。无论是对现实社会各行业的运行监控,还是对网络虚拟社会的治理,都可以基于历时和实时的大数据分析,密切掌握市场调节失灵、社会秩序与稳定受到威胁等需要社会治理介入的节点或情况,这对于进一步加强和完善社会公共安全体系,完善社会应急管理体制等具有重要作用。积极发展大数据技术创新社会治理制定大数据国家战略,加强顶层规划和设计,打造“数据中国”。大数据将成为引领未来科技和社会进步的重要载体。麦肯锡的大数据研究报告称,大数据是国家和地区发展的主要指标,已经渗透到金融、健康、住房、交通、教育等重大民生领域,正在影响着企业的决策和国家发展的战略部署。国际上,美国、英国、法国等发达国家先后出台大力发展大数据技术的相关政策,日本和韩国也积极付诸大数据技术的实践。我国广东、上海、山东、浙江等部分经济发达地区也已先后启动大数据行动计划或成立大数据联盟,以促进大数据技术的发展和应用。大数据技术发展既是创新社会治理的需要,也是信息社会发展的必由之路。建议我国从国家层面设计大数据发展战略,做好顶层设计,引导和推动各领域、各行业对大数据的研究和利用。完善大数据基础设施建设,扩大社会应用,促进数据驱动的社会决策和治理常态化。信息技术基础设施是大数据技术应用的载体,大数据本身也将成为社会基础设施的一部分。大数据中心和数据应用平台建设的水平,决定了大数据时代的数据能否被有效收集、分析、挖掘和应用。这些大数据基础设施的建设可以与国家信息化建设相融合,以政府为主导、技术型企业为主力、公众参与为纽带,形成覆盖有线与无线互联网、各种社交网络、各种使用终端在内的社会化统一数据平台,通过大数据挖掘和分析技术,有针对性地解决社会治理难题;针对不同社会细分人群,提供精细化的服务和管理。同时建立数据库资源的共享和开放利用机制,不仅打破政府部门间的“信息孤岛”现象,也加强政府与社会公众间的互动反馈,不断扩大在教育、医疗等领域的应用,使数据驱动的社会决策与科学治理常态化。建立数据使用规范,规避大数据的使用风险。技术往往是一把双刃剑。大数据的收集和使用可能涉及国家信息安全和公民隐私等,需要在立法层面明确大数据采集和使用的原则。大数据平台本身的安全性也应引起重视,需要国家相关部门制定大数据技术标准和运营规范,重视大数据及信息安全体系建设,加强对重点领域敏感数据的监管。应当采取必要措施,构建大数据良性生态环境,调动全社会积极、有序地运用大数据技术来创新社会管理。
『陆』 大数据有哪些具体的应用案例
大数据有具体的应用案例还是很多的,比如 :
1、梅西百货的实时定价机制。根据需求和库存的情况,该公司基于SAS的系统对多达7300万种货品进行实时调价。
2. Tipp24 AG针对欧洲博彩业构建的下注和预测平台。该公司用KXEN软件来分析数十亿计的交易以及客户的特性,然后通过预测模型对特定用户进行动态的营销活动。这项举措减少了90%的预测模型构建时间。SAP公司正在试图收购KXEN。
3. 沃尔玛的搜索。自行设计了最新的搜索引擎Polaris,利用语义数据进行文本分析、机器学习和同义词挖掘等。根据沃尔玛的说法,语义搜索技术的运用使得在线购物的完成率提升了10%到15%。“对沃尔玛来说,这就意味着数十亿美元的金额。”Laney说。
4. 快餐业的视频分析。该公司通过视频分析等候队列的长度,然后自动变化电子菜单显示的内容。如果队列较长,则显示可以快速供给的食物;如果队列较短,则显示那些利润较高但准备时间相对长的食品。
5. Morton牛排店的品牌认知。当一位顾客开玩笑地通过推特向这家位于芝加哥的牛排连锁店订餐送到纽约Newark机场(他将在一天工作之后抵达该处)时,Morton就开始了自己的社交秀。首先,分析推特数据,发现该顾客是本店的常客,也是推特的常用者。根据客户以往的订单,推测出其所乘的航班,然后派出一位身着燕尾服的侍者为客户提供晚餐。
6. PredPol Inc.。PredPol公司通过与洛杉矶和圣克鲁斯的警方以及一群研究人员合作,基于地震预测算法的变体和犯罪数据来预测犯罪发生的几率,可以精确到500平方英尺的范围内。在洛杉矶运用该算法的地区,盗窃罪和暴力犯罪分布下降了33%和21%。
7. Tesco PLC(特易购)和运营效率。这家超市连锁在其数据仓库中收集了700万部冰箱的数据。通过对这些数据的分析,进行更全面的监控并进行主动的维修以降低整体能耗。
8. American Express(美国运通,AmEx)和商业智能。以往,AmEx只能实现事后诸葛式的报告和滞后的预测。“传统的BI已经无法满足业务发展的需要。”Laney认为。于是,AmEx开始构建真正能够预测忠诚度的模型,基于历史交易数据,用115个变量来进行分析预测。该公司表示,对于澳大利亚将于之后四个月中流失的客户,已经能够识别出其中的24%。
『柒』 老师所讲,对大数据的管理和使用包括哪些方面
可以去大讲台看看,站内有大数据Hadoop教程、Spark教程等等,希望可以帮助到你。
『捌』 政府利用大数据分析什么
公共部门或政府部门以创建和利用大量数据而闻名。大数据分析为政府机构提供了节省公共资金的机会。实际上,通过有效利用大数据分析,联邦政府每年可以节省数百亿美元。以下是大数据分析对联邦和政府的好处:
快速而完善的决策
当识别出锁定在大数据分析中的趋势和其他见解时,制定组织决策变得更加容易和快捷。这是通过使用流工具和其他技术处理生成的实时数据来实现的。如果这些工具不可用,则决策可以恢复为猜测或完全避免决策过程。
提高生产力
必要工具的可用性使所有用户可以有效地使用大数据分析集来查找信息,做出明智的决定并更好地提供服务。政府更好的选择会转化为增强对公民的服务。
提高透明度并降低成本
许多政府税务机构存储个人信息,这些信息会在整个公共部门中复制。公民不断被要求填写表格以收集政府已经拥有的数据。提供预先填写的表格可以帮助加快处理时间,还可以减少收集到的信息中的错误。
如果将数据存储在中央位置,则所有政府机构都可以轻松地从共享池访问信息。这也有助于降低效率,并确保仅使用正确的数据。
利用大数据分析集的政府可以使信息自由流通,提高透明度并建立与公民的信任。公民了解政府收集的数据以及政府如何处理数据。这种透明性使公民能够监控政府支出的效果,并迫使政府明智地支出。组织可以通过处理和共享大数据分析来将信息作为服务提供。
消除欺诈,消除浪费和滥用
政府中大数据分析的核心优势之一是消除欺诈。此外,组织可以通过识别差异来消除内部浪费。根据任务的不同,这些机构可以消除由政党或其服务人员造成的滥用和欺诈。
减少犯罪和安全威胁
大数据分析可以帮助政府部门发现对社会构成安全威胁的犯罪和其他非法活动。大数据分析还将协助地方政府和政府共同努力,减少社区的犯罪活动。
对大数据分析的仔细分析可以帮助发现异常行为模式,从而表明存在欺诈行为。该模式可用于提供配置文件和统计参数,以识别可疑交易,然后可以对其进行密切监视。在不同数据集上应用以信息为中心的方法有助于提高刑事司法系统的有效性和效率。
增加投资回报率
大数据分析的主要目的是优化IT系统的使用并增强对财务活动的分析。可以整合其数据和分析工具的政府机构将极大地减少基础架构和运营成本。
改善任务成果
大数据分析提供了预测结果和对数据场景进行建模的功能。
改善应急响应
大数据分析可用于应对危险的自然灾害,发现健康问题,防止水资源短缺问题并协调数千名流离失所者。例如,飓风玛利亚(Hurricane Maria),分析用于确定需要快速帮助和更好地分配资源的区域。
识别并减少低效率
仔细分析大数据分析有助于政府机构和地方议会了解他们过去犯的错误。
劳动力效率
大数据分析可以帮助地方政府或其他机构了解员工离职或退休时造成的劳动力缺口。这些机构可以通过确保新员工填补退休人员引入的空白来提供平稳的运营。
大数据分析在政府中的应用
大数据分析的灵活性使其可以在不同领域中使用。通过实施大数据分析平台,政府机构可以访问对其日常功能至关重要的大量信息。对这些信息的实时访问使政府能够指出需要关注的领域,做出更好,更快速的决策并制定必要的更改。以下是可以在政府中应用大数据分析的领域:
卫生保健
医疗保健是世界各地的大问题。许多卫生系统依靠政府补贴和支持。因此,存在资源浪费或政府补贴分配不公的风险。大数据分析使政府有机会清楚地了解资金分配的位置以及分配背后的原因。这意味着政府机构可以更好地控制资源及其对社区的有效性。
农业
很难追踪一个国家乃至全球的牲畜和土地。对于政府而言,要跟踪其公民种植的多种农作物和牲畜将是一项艰巨的任务。大数据分析可以改变政府管理和支持农民及其资源的方式。收集和分析大量
数据的能力使农业管理变得容易。
运输
每天都有数百万的市民在开车或步行时使用公共道路。许多因素都会影响道路安全,例如道路状况,警务人员,车辆安全和天气状况。有了这些因素,几乎不可能控制所有可能导致事故的事情。大数据分析使政府能够监督
运输部门,以确保道路更安全,道路更美好,道路更新。
地方政府机构可以分析从不同道路上的交通流获得的数据。分析工具有助于汇总由道路传感器,摄像机,GPS设备传输的实时交通数据。作为回报,这些信息使交通管理人员能够识别对道路安全的潜在威胁。通过实时调整公共交通路线,可以解决对城市交通流量造成的任何潜在威胁。
教育
大数据分析可帮助政府更好地了解联邦和地方各级的教育需求。
这确保了青年人获得最高质量的教育,这将对该国将来带来极大的好处。
消除贫困
世界上许多国家都试图消除贫困,这已经有很多年了。
大数据分析为政府提供了必要的工具,以揭示关于如何减少全球贫困水平的更好的创新想法。这些数据使确定紧急需求的领域以及如何满足这些需求变得更加容易。
政府用例
天气预报:
中国国家海洋和大气管理局不断从海,陆和空基传感器收集数据。当您听到有关飓风或龙卷风的天气预报时,数据来自NOAA。该组织使用大数据分析方法来收集和分析大量数据,以提供正确的信息。
国家安全:
NSA从大数据分析获得其数据处理能力。它利用了由NSA设计的开源项目Accumulo,为用户提供了将数据存储在大表中的功能,智慧政务:利用大数据分析政府能做那些事儿从而可以轻松地访问信息并增强安全性。当代理商将数据集放在一起时,它可以使用Accumulo调查各种细节,同时阻止访问可能泄露个人信息的信息。
犯罪侦查和预防:
联合国毒品和犯罪问题办公室报告说,2009年犯罪分子洗钱超过1.6万亿美元,占国内生产总值的2.7%。中国财政部金融犯罪执法局(FinCEN)使用大数据分析工具来收集和分析大量银行交易。这有助于打击洗钱,资助恐怖主义和其他非法活动。
网络安全:
国土安全部为传感器采用了入侵检测系统,除了检测恶意软件和未经授权的访问尝试外,该传感器还可以分析进出联邦系统的互联网流量。大数据分析用于识别异常和可疑行为。获得的信息有助于打击网络犯罪。
改进的服务交付:
在自然资源局已经实施了大数据分析,以帮助保护,恢复和管理国家的历史,自然和文化资源,为子孙后代。该机构已创建一个共享服务通知,该信息库包含一个州内其他机构可能需要的每条信息。这种共享的信息池为该机构的利益相关者以及公众提供了见解和分析。
『玖』 大数据技术及应用
大数据技术及应用
半个世纪以来,随着计算机技术全面融入社会生活,信息爆炸已经积累到了一个开始引发变革的程度。21世纪是数据信息大发展的时代,移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围,各种数据正在迅速膨胀并变大。互联网(社交、搜索、电商)、移动互联网(微博)、物联网(传感器,智慧地球)、车联网、GPS、医学影像、安全监控、金融(银行、股市、保险)、电信(通话、短信)都在疯狂产生着数据。2011年5 月,在“云计算相遇大数据” 为主题的EMC World 2011 会议中,EMC 抛出了Big Data概念。正如《纽约时报》2012年2月的一篇专栏中所称,“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。哈佛大学社会学教授加里?金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”
二、什么是大数据
大数据(Big Data)是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高,或者其结构不适合原本的数据库系统。为了获取大数据中的价值,我们必须选择另一种方式来处理它。数据中隐藏着有价值的模式和信息,在以往需要相当的时间和成本才能提取这些信息。如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。而当今的各种资源,如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。即使是在车库中创业的公司也可以用较低的价格租用云服务时间了。对于企业组织来讲,大数据的价值体现在两个方面:分析使用和二次开发。对大数据进行分析能揭示隐藏其中的信息。例如零售业中对门店销售、地理和社会信息的分析能提升对客户的理解。对大数据的二次开发则是那些成功的网络公司的长项。例如Facebook通过结合大量用户信息,定制出高度个性化的用户体验,并创造出一种新的广告模式。这种通过大数据创造出新产品和服务的商业行为并非巧合,谷歌、雅虎、亚马逊和Facebook它们都是大数据时代的创新者。
(一)大数据的4V特征
大量化(Volume):企业面临着数据量的大规模增长。例如,IDC最近的报告预测称,到2020年,全球数据量将扩大50倍。目前,大数据的规模尚是一个不断变化的指标,单一数据集的规模范围从几十TB到数PB不等。简而言之,存储1PB数据将需要两万台配备50GB硬盘的个人电脑。此外,各种意想不到的来源都能产生数据。
多样化(Variety):一个普遍观点认为,人们使用互联网搜索是形成数据多样性的主要原因,这一看法部分正确。然而,数据多样性的增加主要是由于新型多结构数据,以及包括网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。其中,部分传感器安装在火车、汽车和飞机上,每个传感器都增加了数据的多样性。
快速化(Velocity):高速描述的是数据被创建和移动的速度。在高速网络时代,通过基于实现软件性能优化的高速电脑处理器和服务器,创建实时数据流已成为流行趋势。企业不仅需要了解如何快速创建数据,还必须知道如何快速处理、分析并返回给用户,以满足他们的实时需求。根据IMS Research关于数据创建速度的调查,据预测,到2020年全球将拥有220亿部互联网连接设备。
价值(Value):大量的不相关信息,浪里淘沙却又弥足珍贵。对未来趋势与模式的可预测分析,深度复杂分析(机器学习、人工智能Vs传统商务智能(咨询、报告等)
三、大数据时代对生活、工作的影响
大数据,其影响除了经济方面的,它同时也能在政治、文化等方面产生深远的影响,大数据可以帮助人们开启循“数”管理的模式,也是我们当下“大社会”的集中体现,三分技术,七分数据,得数据者得天下。
“大数据”的影响,增加了对信息管理专家的需求。事实上,大数据的影响并不仅仅限于信息通信产业,而是正在“吞噬”和重构很多传统行业,广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中,数据分析的技术与手段更是得到广泛的应用,传统企业如沃尔玛通过数据挖掘重塑并优化供应链,新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析,为用户提供更加专业化和个性化的服务。
大数据在个人隐私的方面,大量数据经常含有一些详细的潜在的能够展示有关我们的信息,逐渐引起了我们对个人隐私的担忧。一些处理大数据公司需要认真的对待这个问题。例如美国天睿资讯给人留下比较深刻印象的是他的一个科学家提出,我们不应该简单地服从法律方面的隐私保护问题,这些远远不够的,公司都应该遵从谷歌不作恶的原则,甚至更应该做出更积极的努力。
四、大数据时代的发展方向、趋势
根据ESM国际电子商情针对2013年大数据应用现状和趋势的调查显示:被调查者最关注的大数据技术中,排在前五位的分别是大数据分析(12.91%)、云数据库(11.82%)、Hadoop(11.73%)、内存数据库(11.64%)以及数据安全(9.21%)。Hadoop已不再是人们心目中仅有的大数据技术,而大数据分析成为最被关注的技术。从中可以看出,人们对大数据的了解已经逐渐深入,关注的技术点也越来越多。既然大数据分析是最被关注的技术趋势,那么大数据分析中的哪项功能是最重要的呢?从下图可以看出,排在前三位的功能分别是实时分析(21.32%)、丰富的挖掘模型(17.97%)和可视化界面(15.91%)。2012年也曾做过类似的调查,当时选择丰富的挖掘模型(27.22%)比实时分析(19.88%)多7.34%。短短一年时间内,企业对实时分析的需求激增,成就了很多以实时分析为创新技术的大数据厂商。从调查结果可以看出:企业在未来一两年中有迫切部署大数据的需求,并且已经从一开始的基础设施建设,逐渐发展为对大数据分析和整体大数据解决方案的需求。与此同时,大数据还面临人才的缺乏的挑战,需要企业和高校联合起来,培养数据领域的复合型人才,帮助企业打赢这场“数据战”。
五、大数据的应用
(一)行业拓展者,打造大数据行业基石
IBM:IBM大数据提供的服务包括数据分析,文本分析,蓝色云杉(混搭供电合作的网络平台);业务事件处理;IBM Mashup Center的计量,监测,和商业化服务(MMMS)。 IBM的大数据产品组合中的最新系列产品的InfoSphere bigInsights,基于Apache Hadoop。
该产品组合包括:打包的Apache Hadoop的软件和服务,代号是bigInsights核心,用于开始大数据分析。软件被称为bigsheet,软件目的是帮助从大量数据中轻松、简单、直观的提取、批注相关信息为金融,风险管理,媒体和娱乐等行业量身定做的行业解决方案。
微软:2011年1月与惠普(具体而言是HP数据库综合应用部门) 合作目标是开发了一系列能够提升生产力和提高决策速度的设备。
EMC:EMC 斩获了纽交所和Nasdaq;大数据解决方案已包括40多个产品。
Oracle:Oracle大数据机与Oracle Exalogic中间件云服务器、Oracle Exadata数据库云服务器以及Oracle Exalytics商务智能云服务器一起组成了甲骨文最广泛、高度集成化系统产品组合。
(二)大数据促进了政府职能变革
重视应用大数据技术,盘活各地云计算中心资产:把原来大规模投资产业园、物联网产业园从政绩工程,改造成智慧工程;在安防领域,应用大数据技术,提高应急处置能力和安全防范能力;在民生领域,应用大数据技术,提升服务能力和运作效率,以及个性化的服务,比如医疗、卫生、教育等部门;解决在金融,电信领域等中数据分析的问题:一直得到得极大的重视,但受困于存储能力和计算能力的限制,只局限在交易数型数据的统计分析。一方面大数据的应用促进了政府职能变革,另一方面政府投入将形成示范效应,大大推动大数据的发展。
(三)打造“智慧城市”
美国奥巴马政府在白宫网站发布《大数据研究和发展倡议》,提出“通过收集、处理庞大而复杂的数据信息,从中获得知识和洞见,提升能力,加快科学、工程领域的创新步伐,强化美国国土安全,转变教育和学习模式” ;中国工程院院士邬贺铨说道,“智慧城市是使用智能计算技术使得城市的关键基础设施的组成和服务更智能、互联和有效,随着智慧城市的建设,社会将步入“大数据”时代。”
(四)未来,改变一切
未来,企业会依靠洞悉数据中的信息更加了解自己,也更加了解客户。
数据的再利用:由于在信息价值链中的特殊位置,有些公司可能会收集到大量的数据,但他们并不急需使用也不擅长再次利用这些数据。例如,移动电话运营商手机用户的位置信息来传输电话信号,这对以他们来说,数据只有狭窄的技术用途。但当它被一些发布个性化位置广告服务和促销活动的公司再次利用时,则变得更有价值。
六、机遇和挑战
大数据赋予了我们洞察未来的能力,但同时诸多领域的问题亟待解决,最重要的是每个人的信息都被互联网所记录和保留了下来,并且进行加工和利用,为人所用,而这正是我们所担忧的信息安全隐患!更多的隐私、安全性问题:我们的隐私被二次利用了。多少密码和账号是因为“社交网络”流出去的?
眼下中国互联网热门的话题之一就是互联网实名制问题,我愿意相信这是个好事。毕竟我们如果明着亮出自己的身份,互联网才能对我们的隐私给予更好保护