大数据时代公共机构能耗监测

『壹』 怎样解读大数据时代

随着4G的普及和5G的发展，大数据时代到来，在我们的日常生活中，大数据已经存在于生活中，大数据不难理解，但就具体以西而言，可以从三个方面来理解大数据，帮助大家更好地了解。

1、海量数据

从字面上看，大数据实际上是海量数据的聚合。在当今的互联网时代，当您在手机或电脑上下载和安装软件时，您需要对收集个人使用数据的软件进行授权。否则无法使用，基于这些条件，大数据在合理的时间内，通过合法的手段，对个人的使用习惯和使用信息进行采集、管理和处理，然后将其整合成一个庞大的数据集。

2、大数据技术

企业产生的数据一般称为大数据，将数据下载并分析到数据库中。因此，云计算往往与大数据相结合，大规模的数据分析需要借助云计算。大数据应用技术被任何人称为大数据技术，包括各种大数据平台的应用技术。

3、大数据的目标

通过了解大数据的价值，我们可以了解大数据的重要性，通过了解大数据的特点，我们可以了解大数据在行业中的定性本质。你需要学会分析大数据的发展趋势，可以从大数据和隐私的角度看数据，大数据的最终目标是通过海量数据与数据测量检测的融合，帮助提升产品和服务，促进产品和行业的进一步发展。而大数据算法可以有效帮助政府协调和控制市场，尽可能避免金融危机。

AI智能舆情监控系统，点击获取你的专属报告
快速、全面、精准监测
点亮工场
查看
就大数据而言，大数据的终极价值应该是实践，它描述了互联网大数据公司的大数据、个人大数据，最后是政府大数据等各个方面的大数据领域。

『贰』 大数据时代的治理转型

大数据时代的治理转型

大数据技术在商业领域已经显示出提供“解决方案”的惊人能力，同样可以在国家治理、政府治理、社会治理中运用
国务院通过的《关于促进大数据发展的行动纲要》为未来中国的大数据发展指明了方向。然而，与全球主要发达国家相比，中国仍处于大数据发展的初级阶段。如何构筑大数据时代的国家竞争发展优势将具有深远的战略意义。
大数据时代的国际竞争格局
当前，大数据正焕发出变革的力量，并正在改变各国综合国力增速，重塑未来国际战略格局，主要表现在以下方面。
首先，大数据成为经济社会发展新的驱动力。随着物联网、云计算、移动互联网等网络新技术的应用和发展，社会信息化进程进入数据时代，海量数据的产生与流转成为常态。未来20年，全球50亿人将实现联网，这将使全球数据量呈几何式快速增长。预计到2020年，全球数据使用量将达到约40ZB（1ZB=10亿TB），将成为新的重要驱动力。
其次，大数据将成为重要的战略资源和核心资产。世界各国对数据的依赖快速上升，国家竞争焦点已经从资本、土地、人口、资源的争夺转向了对大数据的争夺，制信（数）权成为继制陆权、制海权、制空权之后的新制权。大数据使得数据强国与数据弱国的区分不再以经济规模和经济实力论英雄，而是决定于一国大数据能力的优劣。
第三，大数据将改变国家治理的架构和模式。大数据不仅是一场技术和经济革命，更是一场国家治理的变革。大数据可以通过对海量、动态、高增长、多元化、多样化数据的高速处理，快速获得有价值信息，提高公共决策能力。另外，数据主权的提出也使政府、企业和个人的角色发生转变，使国家治理结构逐步实现从国家独大的治理结构转向多元共治，从封闭性治理结构转向开放性结构，从政府配置资源模式转向市场配置资源模式的转变，作为基础设施的大数据和作为基础性制度的大数据同时存在。
最后，大数据安全已经成为国家最重要的战略安全之一。借助大数据革命，美国等发达国家全球数据监控能力升级，确保自身在网络空间和数据空间的主导地位。各种国家信息基础设施和重要机构所承载着的庞大数据信息，如由信息网络系统所控制的石油和天然气管道、水、电力、交通、银行、金融、商业和军事等，都有可能成为被攻击的目标，大数据安全已经上升成为国家安全极为关键的组成部分。
主要国家大数据战略在行动
当前，世界各国纷纷利用大数据提升国家竞争能力和战略能力。
1.美国大数据战略的全球领导力。美国政府最先对大数据技术革命做出战略反应，利用大数据提升国家治理水平和国家竞争优势。迄今为止，美国政府在大数据方面实施了三轮政策行动。
第一轮是2012年3月，白宫发布《大数据研究和发展计划》，并成立“大数据高级指导小组”，该计划有两个目标：一是用大数据技术系统改造传统国家治理手段和治理体系；二是形成新的经济增长业态和板块。
第二轮是2013年11月，白宫推出“数据-知识-行动”(Data to Knowledge to Action)计划，进一步细化了利用大数据改造国家治理、促进前沿创新、提振经济增长的路径。这是美国向数字治国、数字经济、数字城市、数字国防转型的重要举措。
第三轮是2014年5月，美国总统办公室提交《大数据：把握机遇，维护价值》政策报告，强调政府部门和私人部门紧密合作，利用大数据最大限度地促进增长和利益，减少风险。
2.欧盟“数据驱动经济战略”框架初显。欧盟在2014年发布了《数据驱动经济战略》，有望近期内成为欧盟经济单列行业，为欧盟恢复经济增长和扩大就业，做出巨大贡献。欧盟在大数据方面的活动主要涉及两方面内容：（1）研究数据价值链战略计划；（2）资助“大数据”和“开放数据”领域的研究和创新活动。数据价值链战略计划包括开放数据、云计算、高性能计算和科学知识开放获取四大战略。主要原则是：高质量数据的广泛获得性，包括公共资助数据的免费获得；作为数字化单一市场的一部分，欧盟内的数据自由流动；寻求个人潜在隐私问题与其数据再利用潜力之间的适当平衡，同时赋予公民以其希望形式使用自己数据的权利。
3.亚太地区国家纷纷抢占大数据战略制高点。亚洲一些国家在大数据发展中紧追其后。日本积极谋划利用大数据改造国家治理体系，对冲经济下行风险。2013年6月，安倍内阁正式公布新IT战略《创建最尖端IT国家宣言》，以开放大数据为核心的IT国家战略，把大数据和云计算衍生出的新兴产业群视为提振经济增长、优化国家治理的重要抓手。
韩国科学技术政策研究院2011年正式提出“大数据中心战略”以及“构建英特尔综合数据库”。同时，韩国社会专职部门制定应对大数据时代计划。2012年，韩国国家科学技术委员会就大数据未来发展环境发布重要战略规划。2013年，在朴槿惠总统“创意经济”的新国家发展战略指引下，韩国未来创造科学部提出“培养大数据、云计算系统相关企业1000个”的国家级大数据发展计划以及《第五次国家信息化基本计划（2013-2017）》等多项大数据发展战略。
总体来看，国外政府大数据政策措施体现出如下明显特征：一是颁布战略规划进行整体布局，抢占大数据先机；二是注重构建配套政策，包括人才培养、产业扶持、资金保障、数据开放共享等，为本国大数据发展构筑良好的生态环境。
中国准备好了吗
大数据对于中国的战略意义毋庸置疑。2013年，中国大数据产业市场规模为34.3亿元，同比增长率超100%。然而，与国外先进国家相比，中国大数据发展却面临非常严峻的风险与挑战。
1.大数据战略储备能力不足，尚缺乏国家顶层设计。从主要发达国家的大数据发展经验看，美国等国持续强化国家战略的顶层设计，重点关注大数据对创新能力、国家安全能力、产业竞争力等国家竞争优势的重构，持续推出大数据国家战略规划。目前，中国明确大数据发展战略的中央部门和政府部门较少，更多是产业界和学术界的探讨，大数据战略的国家顶层设计尚未进入议事日程。此外，大数据治理不是技术问题，而是具有系统性、全局性的战略问题，需要有全面推动大数据战略实施的权力部门和核心决策机构。而这些机制设计，中国都明显缺失和缺位。
2.条块分割体制壁垒和“信息孤岛”，阻碍数据开放和共享。据统计，中国政府掌握着80%以上的数据，政府作为政务信息的采集者、管理者和占有者，具有其他社会组织不可比拟的信息优势。但由于信息技术、条块分割的体制等限制，各级政府部门之间的信息网络往往自成体系、相互割裂，相互之间的数据难以实现互通共享，导致目前政府掌握的数据大都处于割裂和休眠状态。同时，由于政府部门业务管理信息系统开发和建设的“部门化”，政府信息系统出现“系统林立”和分裂状态，政府公共信息资源重复采集现象严重，信息摩擦和治理成本偏高。总体而言，政府开放数据的程度远远落后于世界领先国家。
3.传统治理思维和治理体制在大数据时代出现明显的不适应，并引发新的难题。大数据正在重构政府、市场、社会三者之间关系模式，然而，现有国家治理思维和治理体制已经明显不适应这种大数据时代新趋势的变化。特别是如果经济体制、行政体制和社会管理体制改革不能有效跟进，既得利益主体很可能将大数据技术带来的国家治理契机转化为既得利益的手段和工具，可能引发新的“权力寻租”、新的“数字鸿沟”等问题。
4.法治建设滞后，维护“数据主权”的法律法规标准及配套政策严重缺失。目前，中国大数据法治建设明显滞后，用于规范、界定“数据主权”的相关法律缺失，缺乏有效的大数据法律框架。
一是对于政府、商业组织和社会机构的数据开放、信息公开的相关法律法规尚待进一步完善，尤其缺乏企业和应用程序中关于搜集、存储、分析、应用数据的相关法规。
二是没有对保护本国数据、限制数据跨境流通等做出明确规定。金融、证券、保险等重要行业在华开展业务的外国企业将大量敏感数据传输、存储至其国外的数据中心，存在不可控风险。
三是大数据技术应用与产业发展刚刚起步，缺乏与之相配套的法律法规及政策。
将大数据发展规划上升为全面的国家战略
大数据引发的经济社会革命才刚刚开始，需要全面提升大数据在国家经济发展和治理方面的重要战略地位。
1.完善大数据发展的国家顶层设计。要在“行动纲要”基础上，加快形成大数据国家战略，包括中长期路线图与实施重点、目标、路径。统筹布局，加快大数据发展核心技术研发；推进大数据开放、共享以及安全方面的相关立法与标准制定；抢抓全球科技革命和产业革命战略机遇，重构国家综合竞争优势。
一是把数据主权纳入国家核心利益的战略范畴，加快大数据立法、法律法规和标准的制定。
二是规划重点领域的大数据研究计划，布局关键技术研发方向，强化大数据基础设施建设和人才培养，加强对大数据产业的扶持，做好体制机制、资金、法规标准等方面的保障，为后期专项政策制定、项目规划等提供依据。
三是借鉴国外政府大数据战略经验，制定符合中国国情的大数据配套政策路线图，注重从战略技术能力储备和战略应用实施两个角度，释放大数据发展的潜能。
2.构建国家大数据仓库。应加快G2G（政府与政府之间）、G2B（政府与企业之间）、G2C（政府与公民之间）的大数据开放与共享，盘活大数据资产。
一是加强大数据基础设施建设。全面推进实施“宽带中国”战略，持续支持下一代互联网、第四代移动通信、公共无线网络、电子政务网、行业专网和物联网等网络基础设施建设，建立政府“云平台”，统筹监测数据管理平台、公众民情采集与服务数据管理平台、公共安全与应急管理数据管理平台、政府管理绩效考评数据管理平台、资源统筹与经济预警监测数据管理平台。
二是加强基础数据整合。一方面，整合来自于政府职能部门及业务部门的数据信息资源，推动和规范诚信机构建设，提供完整、准确、及时的企业和个人诚信信息，推进大数据征信体系建设；另一方面，推动国家基础数据开放共享进程，打造透明、智慧政府，推动国家、省、市、县四级大数据交换共享，打通信息横向和纵向的共享渠道，推进跨地区、跨部门信息资源共享和业务协同，并在此基础上最终建成国家大数据仓库。
3.运用大数据，全面提升公共服务水平。从全球领先国家经验看，社会治理体系和公共服务体系是运用大数据进行改造提升的最有潜力领域。
一是将大数据更广泛实践于污染防治、城市规划、交通、医疗健康、教育、国家安全、社会舆情、军事等重要领域，在智能交通、智慧医疗、智慧教育、智慧军工、国防等方面实现重大模式创新。
二是利用大数据加快政府自身革命，制定政府大数据开发与利用的负面清单、权力清单和责任清单。
三是利用大数据实施监管和反腐。大数据给网络问政、网络监督和技术反腐提供了强大的技术支撑，可以利用大数据建立国民满意度指数、腐败指数以及清廉指数等。
4.利用大数据创新政府决策方案。大数据技术在商业领域已经显示出提供“解决方案”的惊人能力，同样可以在国家治理、政府治理、社会治理方面中运用。以通信网、互联网、移动互联网、物联网四张网为支撑，可以提出大数据智慧城市解决方案、大数据新农村建设解决方案、大数据金融解决方案、大数据智能终端解决方案、大数据位置服务解决方案、大数据教育解决方案、大数据文化创意解决方案、大数据环境解决方案、大数据制造解决方案、大数据生物健康解决方案、大数据中小企业数据中心解决方案、大数据服务平台解决方案、大数据信息安全解决方案等，为大数据战略真正落地找到突破口。
5.充分挖掘释放大数据变革、创新经济的潜能。首先，通过大数据实现制造业数字化、智能化及下一代信息技术的深度融合。要做好大数据与工业宽带建设的对接，率先将工业宽带的传输、工业大数据采集、数据中心的计算应用等环节整合起来，建立完善的工业互联网体系和中国的工业4.0体系。
其次，鉴于目前中国的人口要素红利在“退潮”，土地、资源、环境等生产要素日益紧张，要将大数据作为新的战略性生产要素释放出来，建立多元参与的协同创新联盟，增强产学研合作集成研发能力，激励基于大数据资源的创新创业，推动经济实现高质量增长。
再次，利用大数据研判，预测宏观经济形势，开发“经济增长形势判断预测系统”、“物价变化高频判断系统”、“金融市场信心判断系统”、“房地产景气判断系统”等，增强对经济形势判断的科学性、精准性。
6.开展全球大数据交流合作。全球主要国家都已提出本国大数据国家战略，特别是美国、日本等国的数据量非常庞大。中国可通过大数据外交，与之展开国际合作，特别是在应对气候变化、粮食安全、疾病灾害、恐怖主义等领域，以及在“一带一路”战略推进过程中，丰富公共外交领域的大数据建设。
此外，可利用大数据技术掌握全球性数据情报和全球焦点事件发展态势。建议实施中国版“全球脉动”（Global Pusle）项目。联合国于2009年推出“全球脉动”项目，提出大数据是纳米技术和量子计算之后的一个颠覆性变化，用这个技术对Twitter和Facebook等互联网数据和文本信息开展实时分析监测，使用语言解密软件对互联网世界进行“情绪分析”，可以对疾病、动乱、种族冲突提供早期预警。中国可以实施类似的大数据全球情报智能监测项目，对全球重大趋势进行早期预警，切实维护和保障国家安全。

『叁』 盘点政府推动大数据应用及发展的举措

盘点政府推动大数据应用及发展的举措
一、政府：推动大数据应用的最关键力量
（一）政府掌握大量最具应用价值的核心数据，是推动大数据应用的最关键力量
根据麦肯锡大数据研究报告指出， 各个行业利用大数据价值的难易度以及发展潜力 对比下，政府利用大数据难度最低而潜力最大。
大数据
另一方面政府开放大数据运用已经是大势所趋：
1、 政府掌握了大量最具应用价值的核心数据。 过去十多年来政府投资进行了大量电子政务或者称为政府信息化的工作，后台积累了大量的数据，而这些数据和公众的生产生活息息相关。有研究表明政府所掌握的数据使政府成为了一个国家最重要的信息保有者，有百分之七十到八十的核心数据存在于政府的后台 。
2、 开放数据本身就是政府在大数据时代提供的一项公共服务。 政府数据本质上是国家机关在履行职责时所获取的数据，采集这些数据的经费来自于公共财政，因而这些数据是公共产品，归全社会所有，应取之于民，用之于民。
3、 政府开放数据供社会进行增值开放和创新应用，推动经济增长乃至整个经济增长方式的转型。 数据是互联网创新的重要基础，如果政府不开放这一部分数据，很多创新应用没有数据作为支持，数据开发者能利用政府开放的数据，提供更好的服务，创造更多的价值， 这个过程能够提高整个国家在大数据时代的竞争力。
4、 政府开放数据推动经济增长获得的税收高于单纯卖数据获得的收入。 201 年世界经合组织在关于开放政府数据的报告中提到政府通过开放数据推动经济增长，从而获得的税收收入远高于单卖数据所能获得收入。开放数据激发经济活力从而得到税收提升，这是一个良 性循环，更是一个能创造巨大公共价值的全局性的战略。
（二） 国内外政府开放数据的情况
在 2009 年奥巴马签署开放政府数据的行政命令后，这些年来开放政府数据已成为了世界性的一个趋势。美国联邦数据平台 Data.gov 上线后，在美洲、欧洲、亚洲等地，开放政府数据已成为了政府的一项重要工作。美国联邦政府的开放政府数据平台开放了来自多个领 域的 13 万个数据集的数据。这些领域包括图中所列的农业、商业、气候、生态、教育、能源、金融、卫生、科研等十多个主题。这些主题下的数据都是美国联邦政府的各个部委所开放的。英国、加拿大、新西兰等国在 2009 年之后都建立起了政府数据开放平台，成为 了国际信息化和大数据领域的一个重要趋势。
大数据
在我国， 2011 年香港特区政府上线了 data.gov.hk，称为香港政府资料一线通。上海在 2012年 6 月推出了中国大陆第一个数据开放平台。之后，北京、武汉、无锡、佛山南海等城市也都上线了自己的数据平台。
大数据
（三）、 大数据对于政府治理具有极大的价值
大数据其实对政府的治理带来了全新的价值，无论是对宏观经济的决策能力、产业聚集能力、协同治理能力、社会管理能力、公众服务能力、快速响应能力的提升，大数据都可以在有很大层面上帮助政府治理。
大数据大数据
（四）、大数据上升至国家战略成为共识。
大数据时代，对大数据的开发、利用与保护的争夺日趋激烈，制信权成为继制陆权、制海权、制空权之后的新制权，大数据处理能力成为强国弱国区分的又一重要指标。国际上以美国为代表的发达国家纷纷布局大数据产业，相继推出大数据相关政策，大力支持大数据产 业在本国的发展。以美国为例，美国从开展关键技术研究、推动大数据应用和开放政府数据三方面布局大数据产业，尤其在开放政府数据方面非常积极，通过 Data.gov开放 37 万个数据集，并开放网站的 API 和源代码，提供上千个数据应用。我们认为，大数据未来将 引发新一轮大国竞争，大数据对整个世界的影响力会呈现爆发性增长趋势，因此包括我国在内的国家会在政策支持力度上不断提升，大数据战略将上升至国家战略已毋庸臵疑。
大数据
（五）、 我国 高度重视大数据未来发展
自去年 3 月“大数据”首次出现在《政府工作报告》中以来，国务院常务会议一年内 6次提及大数据运用。近期在 6 月 17 日的国务院常务会议上，李克强总理再次强调“我们正在推进简政放权，放管结合、优化服务，而大数据手段的运用十分重要。” 7 月 1 日， 国务院办公厅印发了《关于运用大数据加强对市场主体服务和监管的若干意见》。
大数据
大数据大数据
（六）. 各部委行动时间表已经确，我国大数据发展面临历史性机遇
值得注意的是，近期国务院出台文件对各个部委推进大数据任务制定了明确的时间表，很多推进工作任务要求在 2015 年 12 月底前出台政策并实施，近期将是我国大数据发展政策出台的密集期。

表 3： 各部委推进大数据应用时间表
序号工作任务负责单位时间进度1加快建立公民、法人和其他组织统一社会信用代码制度。发展改革委、中央编办、公安部、民政部、人民银行、税务总局、工商总局、质检总局2015 年 12 月底前出台并实施2全面实行工商营业执照、组织机构代码证和税务登记证“三证合一”、 “一照一码”登记制度改革。工商总局、中央编办、发展改革委、质检总局、税务总局2015 年 12 月底前实施3建立多部门网上项目并联审批平台，实现跨部门、跨层级项目审批、核准、备案的“统一受理、同步审查、信息共享、透明公开”。发展改革委会同有关部门2015 年 12 月底前完成4推动政府部门整合相关信息，紧密结合企业需求，利用网站和微博、微信等新兴媒体为企业提供服务。网信办、工业和信息化部持续实施5研究制定在财政资金补助、政府采购、政府购买服务、政府投资工程建设招投标过程中使用信用信息和信用报告的政策措施。财政部、发展改革委2015 年 12 月底前出台并实施6充分运用大数据技术，改进经济运行监测预测和风险预警，并及时向社会发布相关信息，合理引导市场预期。发展改革委、统计局持续实施7支持银行、证券、信托、融资租赁、担保、保险等专业服务机构和行业协会、商会运用大数据为企业提供服务。人民银行、银监会、证监会、保监会、民政部持续实施8健全事中事后监管机制，汇总整合和关联分析有关数据，构建大数据监管模型，提升政府科学决策和风险预判能力。各市场监管部门2015 年 12 月底前取得阶段性成果9在办理行政许可等环节全面建立市场主体准入前信用承诺制度。 信用承诺向社会公开，并纳入市场主体信用记录。各行业主管部门2015 年广泛开展试点， 2017 年 12 月底前完成10加快建设地方信用信息共享交换平台、部门和行业信用信息系统，通过国家统一的信用信息共享交换平台实现互联共享。各省级人民政府，各有关部门2016 年 12 月底前完成11建立健全失信联合惩戒机制，将使用信用信息和信用报告嵌入行政管理和公共服务的各领域、各环节，作为必要条件或重要参考依据。在各领域建立跨部门联动响应和失信约束机制。建立各行业“黑名单”制度和市场退出机制。推动将申请人良好的信用状况作为各类行政许可的必备条件。各有关部门，各省级人民政府2015 年 12 月底前取得阶段性成果12建立产品信息溯源制度，加强对食品、药品、农产品、日用消费品、特种设备、地理标志保护产品等重要产品的监督管理，利用物联网、射频识别等信息技术，建立产品质量追溯体系，形成来源可查、去向可追、责任可究的信息链条。商务部、网信办会同食品药品监管总局、农业部、质检总局、工业和信息化部2015 年 12 月底前出台并实施13加强对电子商务平台的监督管理，加强电子商务信息采集和分析，指导开展电子商务网站可信认证服务，推广应用网站可信标识，推进电子商务可信交易环境建设。健全权益保护和争议调处机制。工商总局、商务部、网信办、工业和信息化部持续实施14进一步加大政府信息公开和数据开放力度。除法律法规另有规定外，将行政许可、行政处罚等信息自作出行政决定之日起 7 个工作日内上网公开。各有关部门，各省级人民政府持续实施15加快实施经营异常名录制度和严重违法失信企业名单制度。建设国家企业信用信息公示系统，依法对企业注册登记、行政许可、行政处罚等基本信用信息以及企业年度报告、经营异常名录和严重违法失信企业名单进行公示，并与国家统一的信用信息共享交换平台实现有机对接和信息共享。工商总局、其他有关部门，各省级人民政府持续实施16支持探索开展社会化的信用信息公示服务。建设“信用中国 ”网站，归集整合各地区、各部门掌握的应向社会公开的信用信息，实现信用信息一站式查询，方便社会了解市场主体信用状况。各级政府及其部门网站要与 “信用中国 ”网站连接，并将本单位政务公开信息和相关市场主体违法违规信息在“信用中国 ”网站公开。发展改革委、人民银行、其他有关部门，地方各级人民政府2015 年 12 月底前完成17推动各地区、各部门已建、在建信息系统互联互通和信息交换共享。在部门信息系统项目审批和验收环节，进一步强化对信息共享的要求。发展改革委、其他有关部门持续实施18健全国家电子政务网络，加快推进国家政务信息化工程建设，统筹建立人口、法人单位、自然资源和空间地理、宏观经济等国家信息资源库，加快建设完善国家重要信息系统。发展改革委、其他有关部门分年度推进实施， 2020 年前基本建成19加强对市场主体相关信息的记录，形成信用档案。对严重违法失信的市场主体，按照有关规定列入“黑名单”，并将相关信息纳入企业信用信息公示系统和国家统一的信用信息共享交换平台。各有关部门2015 年 12 月底前实施20探索建立政府信息资源目录。各有关部门2016 年 12 月底前出台目录编制指南21引导征信机构根据市场需求，大力加强信用服务产品创新，进一步扩大信用报告在行政管理和公共服务及银行、证券、保险等领域的应用。发展改革委、人民银行、银监会、证监会、保监会2017 年 12 月底前取得阶段性成果22落实和完善支持大数据产业发展的财税、金融、产业、人才等政策，推动大数据产业加快发展。发展改革委、工业和信息化部、财政部、人力资源社会保障部、人民银行、网信办、银监会、证监会、保监会2017 年 12 月底前取得阶段性成果23加快研究完善规范电子政务，监管信息跨境流动，保护国家经济安全、信息安全，以及保护企业商业秘密、个人隐私方面的管理制度，加快制定出台相关法律法规。网信办、公安部、工商总局、工业和信息化部、发展改革委等部门会同法制办2017 年 12 月底前出台（涉及法律、行政法规的，按照立法程序推进）24推动出台相关法规，对政府部门在行政管理、公共服务中使用信用信息和信用报告作出规定，为联合惩戒市场主体违法失信行为提供依据。发展改革委、人民银行、法制办2017 年 12 月底前出台（涉及法律、行政法规的，按照立法程序推进）25建立大数据标准体系，研究制定有关大数据的基础标准、技术标准、应用标准和管理标准等。加快建立政府信息采集、存储、公开、共享、使用、质量保障和安全管理的技术标准。引导建立企业间信息共享交换的标准规范。工业和信息化部、国家标准委、发展改革委、质检总局、网信办、统计局2020 年前分步出台并实施26推动实施大数据示范应用工程，在工商登记、统计调查、质量监管、竞争执法、消费维权等领域率先开展示范应用工程，实现大数据汇聚整合。在宏观管理、税收征缴、资源利用与环境保护、食品药品安全、安全生产、信用体系建设、健康医疗、劳动保障、教育文化、交通旅游、金融服务、中小企业服务、工业制造、现代农业、商贸物流、社会综合治理、收入分配调节等领域实施大数据示范应用工程。

『肆』 大数据时代的挑战、价值与应对策略

大数据时代的挑战、价值与应对策略
随着移动互联网、物联网、云计算等的快速发展，及视频监控、智能终端、应用商店等的快速普及，全球数据量出现爆炸式增长。在此背景下，电信运营商在其网络无休止扩容的同时，却面临“增量不增收”的困境；而一些采用“数据驱动型决策”模式经营的公司，则可将其生产力提高5%～6%。因此，有必要深入研究大数据时代（Big Data Era）的挑战、价值与务实应对策略。
1大数据时代的基本特征
据统计，2010年以互联网为基础所产生的数据比之前所有年份的总和还要多；而且不仅是数据量的激增，数据结构亦在演变。Gartner预计，2012年半结构和非结构化的数据，诸如文档、表格、网页、音频、图像和视频等将占全球网络数据量的85%左右；而且，整个网络体系架构将面临革命性改变。由此，所谓大数据时代已经来临！
对于大数据时代，目前通常认为有下述四大特征，称为“四V”特征：
（1）量大（Volume Big）。数据量级已从TB（1012字节）发展至PB乃至ZB，可称海量、巨量乃至超量。
（2）多样化（Variable Type）。数据类型繁多，愈来愈多为网页、图片、视频、图像与位置信息等半结构化和非结构化数据信息。
（3）快速化（VelocityFast）。数据流往往为高速实时数据流，而且往往需要快速、持续的实时处理；处理工具亦在快速演进，软件工程及人工智能等均可能介入。
（4）价值高和密度低（Value HighandLowDensity）。以视频安全监控为例，连续不断的监控流中，有重大价值者可能仅为一两秒的数据流；360°全方位视频监控的“死角”处，可能会挖掘出最有价值的图像信息。
2大数据时代面临的挑战
（1）运营商带宽能力与对数据洪流的适应能力面临前所未有的挑战，管道化压力化解及“云－管－端”的有效装备也均面临新挑战。
（2）大数据的“四V”特征在数据存储、传输、分析、处理等方面均带来本质变化。数据量的快速增长，对存储技术提出了挑战；同时，需要高速信息传输能力支持，与低密度有价值数据的快速分析、处理能力。
（3）海量数据洪流中，在线对话与在线交易活动日益增加，其安全威胁更为严峻；而且现今黑客的组织能力、作案工具、作案手法及隐蔽程度更上一层楼，典型的有APT（Advanced Persistent Threat，高级持续性安全威胁）。
（4）大数据环境下通过对用户数据的深度分析，很容易了解用户行为和喜好，乃至企业用户的商业机密，对个人隐私问题必须引起充分重视。
（5）大数据时代的基本特征，决定其在技术与商业模式上有巨大的创新空间，这将对可持续发展起关键作用。
（6）大数据时代的基本特征及安全挑战，对政府制订规则与监管部门发挥作用提出了新的挑战。
3大数据带来的价值
（1）利用大数据特征，借助云计算等有效工具，深度挖掘流量与数据价值，可帮助运营商实施好流量经营，减轻管道化风险，发扬“云－管－端”的智能管道的威力。
（2）多业务环境下掌握用户体验效果尤为重要，可从海量用户数据中深度分析、挖掘出用户的行为习惯和消费爱好，以实施精准营销及网络优化，掌控数据增值的“金钥匙”。
（3）掌握好大数据的存储、分类、挖掘、快速调用和决策支撑，并应用于企业的日常运营、维护及战略转型中，成为企业可持续发展、维持竞争优势的当务之急与重要途径。
（4）充分利用对大数据的分析、挖掘，可帮助找到隐蔽性极强的APT之类的安全威胁，助力信息安全部门找到应对新型安全威胁的有效途径。
（5）通过对公共大数据的分析、挖掘与利用，可减少欺诈行为及错误数据的负面作用、追收逃税漏税及刺激公共机构生产力等，帮助政府节省开支。例如英国政府即通过此途径节省大约330亿英镑/年。
4大数据时代的应对策略
（1）大数据时代应以智慧创新理念融合大数据与云计算，在大数据洪流中提升知识价值洞察力，实施高效实时个性化运作，建立有效增值的商业模式，确保应对APT之类的新型安全威胁。
（2）电信运营商转型中流量经营已成共识，即以智能管道与聚合平台为基础，以扩大流量规模、提升流量层次及丰富流量内涵作为基本经营方向，并以释放流量价值为基本目标，可见大数据和云计算的深度融合与此流量经营目标十分吻合。实际上已经有一些运营商借助大数据Hadoop云工具管理与分析网络中的用户数据，为日常运维及制定市场战略等提供有效支撑。
（3）针对大数据时代的基本特征，加强全方位创新。包括IBM、EMC、HP、Microsoft等在内的IT巨头，纷纷加速收购相关大数据公司进行技术整合，寻找数据洪流大潮中新的立足点。而涉及人工智能、机器学习等新技术的创新应用，已初显效益。
（4）将大数据时代全方位创新工作和智慧城市发展紧密结合。借助移动互联网、大数据与云计算的融合、智能运营管道等，建立智能平台，优化配置城市资源，向真正的智慧城市迈进。
（5）借助大数据创新处理技术应对APT安全攻击。APT安全攻击的最主要特征为单点隐蔽能力强、攻击空间路径不确定、攻击渠道不确定；同时APT攻击一旦入侵成功则长期潜伏，攻击时间上具有持续性。目前，全流量审计方案具备强大的实时检测能力与事后回溯能力，并可将安全工作人员的分析能力、计算机存储与运算能力组合在一起，是一种较完整的解决方案。

『伍』 什么是大数据时代

什么是大数据时代：

利用相关算法对海量数据的存储、处理与分析，从海量数据中发现价值，服务于生产和生活。

大数据无处不在，社会各行各业都可以找到大数据的印记，在金融，餐饮，电信，体育，娱乐等领域都可以感受到大数据对各行各业的影响

大数据的特点：

1、更多，更乱，但内部有关系可循。

示例：

大约20年前，亚马逊刚成立时，杰夫·贝索斯让50个书评员来为他卖书，他意识到不仅仅可以请人来写书评，还可以用数据技术来提供图书推荐。起初他使用的是小数据，不是大数据，把客户进行分类，比如说有人对中国旅游或者是对园艺感兴趣，系统会自动提供推荐。他的同事告诉他，刚刚开始使用这个数据推荐时，使用体验并不好；在进一步分析后，亚马逊决定不对人进行分类，而是对用户的需求分类。这个做法做法非常成功，以至于到今天，推荐系统为亚马逊带去30%的销售收入。

这就是数据收集和再处理。亚马逊有交易数据，每买一本书就是一个交易，然后对这个数据进行分析。但今天我们已不再满足于交易数据了，转而收集起沟通数据。你看了某一个书评、某一个交流会给商家更多的信息和细节。

2、数据可以被重复使用（数据的产生和收集本身并没有直接产生服务，最具价值的部分在于：当这些数据在收集以后，会被用于不同的目的，数据被重新再次使用）

示例：

比方说这家公司实时车辆交通数据采集商Inrix，该公司目前有1亿个手机端用户。Inrix可以帮助你开车，避开堵车，为司机呈现路的热量图，红的就表面堵车。如果只提供数据，这个产品没什么特色，

但值得一提的是，Inrix并没有用交警的数据，这个软件的每位用户在使用过程中会给服务器发送实时数据，比如走的多快，走到哪里，这样每个客户都是探测器。

大数据时代的思维：

每天早上起来想一下，这么多数据我能用来干什么，这些价值在哪里可以找到，能不能找到一个别人以前都没有做过的事情。你的想法和思路，是最重要的资产。

示例：

我们可以通过大数据来确定哪些地方会有火灾。以前防火检查员只有13%的时间可以准备预测，现在他们找到火灾隐患的概率达到了70%，比以前提高了6倍。将效率提高6倍是一个巨大无比的进步，未来的公共服务业可以由此获得更多便利。

『陆』 跨界给传统企业带来的挑战和机遇

前言/近年来“互联+”或“物联网”概念包装下的星秀企业，攻城拨寨，不断冲击、蚕食传统行业的领域。各类新闻媒体对”互联+“的追捧，让众多传统企业也开始“琢磨”、“试水”，却鲜有大的作为。

2016年，国家正大力推进智慧城市建设，而智能建筑作为智慧城市建设的重要组成部分，首先扭转并改善其严峻的设备安全形势及能源管理状况，面临千载难逢的历史机遇期，许多企业在互联网上寻求新突破的也显得尤为迫切。

采用该设备能源管理新模式，设备客户即可轻松分享到诸多价值：被监管设备运行安全0事故、使用寿命延长约20%、人力投入减少50%、能源使用效率提升约20%、管理效率提升节能约15%。我们从而赚取利润的回报。而这个中间产品、服务做出来是看似第一步，但实际上运营才是真正的第一步，运营在前期就开始介入，技术上一边要为要做的产品服务，一边也要配合运营来激活市场，这样的产品会在更早的时间里接触到用户，用户才是互联网的核心。

所以，当传统企业注入互联网的新基因之后，会给传统企业带来更多的机遇和挑战，传统企业各环节所谓的“潜规则”，各环节涉及人员的都会受到影响，要想顺利完成转型落地，企业必须清楚这些环节，在转型的关键阶段需要打破原来的规则，而制造出新的规则。从这里可以看出转型的艰难和复杂可见一斑。这是很痛苦和艰难的，但是正是因为痛苦和艰难，“互联网+“时代我们需要学会用新知识、新思维来武装自己。从而为传统企业的发展提供了无限的空间。

『柒』 物联网产生大数据,大数据助力物联网

物联网产生大数据,大数据助力物联网
大数据时代已经来临。传感器、RFID等的大量应用,电脑、摄像机等设备和智能手机、平板电脑、可穿戴设备等移动终端的迅速普及,促使全球数字信息总量的急剧增长。物联网是大数据的重要来源,随着物联网在各行各业的推广应用,每秒钟物联网上都会产生海量数据。

数据是资源、财富。大数据分析已成为商业的关键元素,基于数据的分析、监控、信息服务日趋普遍。在各行各业中,数据驱动的企业越来越多,他们须实时吸收数据并对之进行分析,形成正确的判断和决策。大数据正成为IT行业全新的制高点,而基于应用和服务的物联网将推动大数据的更广泛运用。
由于物联网数据具有非结构化、碎片化、时空域等特性,需要新型的数据存储和处理技术。而大数据技术可支持物联网上海量数据的更深应用。物联网帮助收集来自感知层、传输层、平台层、应用层的众多数据,然后将这些海量数据传送到云计算平台进行分析加工。物联网产生的大数据处理过程可以归结为数据采集、数据存储和数据分析三个基本步骤。数据采集和存储是基本功能,而大数据时代真正的价值蕴含在数据分析中。物联网数据分析的挑战还在于将新的物联网数据和已有的数据库整合。
物联网上的大数据应用空间广阔,大数据和物联网结合充满无限可能。随着物联网、互联网、移动互联网、智能终端、大屏显示系统、云计算平台等的联合应用,物联网上的大数据可帮助人们建立智能监控模型、智能分析模型、智能决策模型等应用,深刻改变人们的生活。
智慧城市是物联网最大的应用领域,而智慧农业、智能家居、智慧物流、智能安防中的视频信息处理、智慧交通中的交通实时诱导、智慧环保中的环境监测等物联网领域都是大数据应用的“用武之地”。如:在环境监测方面,传感器借助物联网传递信息到互联网平台或移动互联网平台,实时监控环境变化。通过环境监控模型,对收集到的海量环境数据进行分析,发现环境指标变化的异常点,帮助环保部门提前预测某地环境的变化情况,对环境指标偏离正常指标值的,提前发出环境污染预警。而智能制造或“工业互联网”更是未来大数据和物联网美妙结合的经典案例。在行业应用方面,大数据和物联网的结合也会“擦出火花”。如:邮政服务可通过大数据和物联网转型为“邮政物联网”。邮政网络可配备低成本传感器,极大地增强邮政运营商收集有价值数据的能力。这个庞大的新数据来源可帮助邮政运营商提升运营能力,改善客户服务,创造新产品和服务,并为更有效率的决策提供支持。
物联网的价值在于其数据。物联网带来了突破性的技术进步,但管理大数据的问题也变得更加突出,需相关信息通信技术鼎力支撑。如:数据产生、捕捉、传递和分析,需快捷、稳定、可靠的广域网络,3G、4G、WiFi等无线通信技术应不断优化,以支持物联网及各传感器节点感知信息能力、传输能力、信息处理和存储能力等的全面提升。
物联网产生大数据,大数据助力物联网。由物联网引发的大数据潮流还将助推云计算等信息通信新技术的融合发展。

『捌』 浅谈大数据时代统计工作方法

浅谈大数据时代统计工作方法
大数据时代带来了数据信息的大爆炸，为社会生活各个领域带来巨大变革，也给统计调查工作带来了挑战。大数据时代数据呈现出总量更大、种类更繁多、操作更复杂等新特点，这对新时代做好统计调查工作提出了新的更高要求，统计调查工作方式方法面临优化和革新。当然，变革不代表取代和拒绝，而是寻求包容和提升的最佳状态，使统计调查工作在新时代可以更加科学规范。
——加大信息技术驱动力，推动统计调查各环节技术改革。信息技术革命和互联网时代催生了大数据，因此大数据时代统计调查必须以现代信息技术为工具和驱动力。一是拓宽数据收集渠道。统计调查数据的收集可以通过互联网技术利用网络搜索或者从网络公司收集行业信息。二是减少中间环节。传统统计调查层层统计上报的做法工作量较大，也容易造成数据失真。大数据时代统计调查可以利用网络传输数据平台建设等使统计数据第一时间直接从源头传输到需求者，减少中间环节的人为干扰因素，既保证数据的及时性，也能保证数据的真实性和完整性。三是严控数据质量。数据的大爆发带来的数据复杂性势必会增加数据质量控制和统计执法的难度，因此，应适应时代的特点，建立动态的、在线的数据质量把控和统计执法制度。如在数据统计调查平台建立质量控制模板，实现实时监控，并且建立统计执法与数据质量监测的便捷通道，一旦数据质量报警可以立即在统计执法上得到响应。
——提升统计调查方法的科学性、规范性。以抽样调查为例，要想快速树立抽样调查的权威性和主体地位，就必须在抽样调查的各个环节建立科学完备的方法论，包括抽样框构建、抽样方案设计、抽样估计和数据调整等各个环节。比如，要建立科学、统一、简约的抽样调查指标体系，取消过时的、利用率低的指标，改进不易取得和无法与大数据衔接的指标，增加政府及社会各界普遍关注的、与社会经济发展相适应的指标。
——加快数据共享，打破部门“数据孤岛”。目前，我国政府统计面临数据来源单一、重复调查等诸多问题，部门“数据孤岛”现象存在，阻碍了大数据时代统计调查工作的开展。从国外先进经验来看，大数据时代需要逐步采用以信息化为媒介的、基于行政记录和多种信息来源的开放式、共享式数据采集制度，即将不同政府职能部门行政管理信息资料共享化，如人口登记、房产登记、企业信息登记等，不同目的的统计调查仅是在此基础上增加或修改特定指标即可。在我国，初步的部门数据共享已经实现，如经济普查利用工商数据库和基本单位名录库等作为清查库，人口普查以公安部门户籍资料和社保信息等作为核查依据等，但是仍存在部门统计数据协调难度大、利用效率低等问题。因此，在大数据时代需要快速搭建较为完备的数据交换和共享服务平台，除去部门保密数据资料外，绝大多数的统计数据信息应该逐步实现在政府部门间、甚至面向社会公布和共享，使各种目的的统计调查能够各取所需、完善补充，有效发挥数据价值，减少社会资源浪费。
——培养新型统计调查人员，加强调查队伍建设。为应对大数据时代给统计调查工作带来的复杂性和不确定性，需要打造一支懂技术、守纪律的高素质统计调查队伍。一是人员专业化。大数据调查需要全新的现代统计方法和统计工具，特别是现代信息技术和云计算技术，因此必须组建专业程度高、针对性强的业务能手，并且定期组织培训，培养专业化统计调查人才。二是队伍稳定化。现代统计方法和统计流程大多大同小异，稳定的统计调查队伍有利于不同调查方法的融通，减少人员的适应时间，最大限度降低调查成本。近年来，不少地区探索的统计调查外包模式，在一定程度上促进了人员专业化、队伍稳定化，值得深入研究和推广。三是组织纪律制度化。2017年4月，国家统计局成立了国家统计局统计执法监督局，标志着全面依法统计依法治统工作开启了新的征程。统计数据真实性、统计调查科学性、统计执法严肃性等问题，一直是伴随着各项统计调查工作的永恒话题，只有严格遵守统计纪律，将组织建设制度化，才能从根本上杜绝统计造假等统计违法行为，才能确保统计调查科学性，维护统计数据权威性。

『玖』 浅析电力行业如何拥抱大数据

浅析电力行业如何拥抱大数据

未来社会发展将会是大数据的时代，数据的意义已经不仅仅是记录，而是一种能源，一种潜力巨大、影响深远的能源。2015年8月19日，国务院常务会议通过了《关于促进大数据发展的行动纲要》，特别强调通过大数据的发展，提升创业创新活力和社会治理水平。大数据正在改变着各行各业，同样，大数据在电力行业也得到广泛的应用。
电力行业如何拥抱大数据 打破数据壁垒
近年来，在电力领域大数据已经得到了广泛关注，国内的一些专业机构和高校开展了电力大数据理论和技术研究，我国电力行业也在积极开展大数据研究的应用开发，电网企业、发电企业在电力系统各专业领域开展大数据应用实践，国家电网公司启动了多项智能电网大数据应用研究项目。
智能电网是解决能源安全和环境污染问题的根本途径，是电力系统的必然发展方向;全球能源互联网则是智能电网的高级阶段，“互联网+智慧能源”进一步丰富了智能电网的内涵;这些新概念均与大数据密切相关，大数据为智能电网的发展和运营提供了全景性视角和综合性分析方法。就物理性质而言，智能电网是能源电力系统与信息通信系统的高度融合;就其规划发展和运营而言，智能电网离不开人的参与，且受到社会环境的影响，所以智能电网也可被看作是一个由内、外部数据构成的大数据系统。内部数据由智能电网本身的系统产生，外部数据包括可反映经济、社会、政策、气候、用户特征、地理环境等影响电网规划和运行的数据。在智能电网的发展过程中，大数据必将发挥越来越重要的作用。
但是从目前来看，电力行业数据在可获取的颗粒程度，数据获取的及时性、完整性、一致性等方面的表现均不尽如人意，数据源的唯一性、及时性和准确性急需提升，部分数据尚需手动输入，采集效率和准确度还有所欠缺，行业中企业缺乏完整的数据管控策略、组织以及管控流程。电力行业缺乏行业层面的数据模型定义与主数据管理，各单位数据口径不一致。行业中存在较为严重的数据壁垒，业务链条间也尚未实现充分的数据共享，数据重复存储的现象较为突出。
业内称电力行业拥抱大数据，急需推动电力企业间的数据开放共享，建设电力行业统一的元数据和主数据管理平台，建立统一的电力数据模型和行业级电力数据中心，开发电力数据分析挖掘的模型库和规则库，挖掘电力大数据价值，面向行业内外提供内容增值服务。
协调发展智慧电力、智能电网和智慧城市。电力大数据是智慧城市的基石，紧密围绕智能电力系统的发展开展电力大数据的应用实践。以重塑电力核心价值、转变电力发展方式为主线，未来必将实现智能电网与互联网的深度融合：将与城市的电、热、气、水和交通系统实现交互，把电能与供热、供水、供气以及交通系统进行互联互通，形成城市互联网，通过城市互联网技术来进行整合，比如给家庭、社区、工业园区、企事业单位、医院、学校提供一揽子能源解决方案，解决它的水、电、气、油甚至包括污水处理、垃圾处理、暖气供应、冷气供应，整个能源资源的成套解决方案，是人性化、智能化甚至量身定制的解决方案。
案例分析：电力行业如何拥抱大数据
以电力大数据的先行者——AutoGrid为例
1、正确姿势
AutoGrid的核心为其能源数据云平台——EnergyDataPlatform(EDP)，创造了电力系统全面的、动态的图景。
类似于高级搜索引擎或天气预报算法，AutoGrid的能源数据平台挖掘电网产生的结构化和非结构化数据的财富，进行数据集成，并建立其使用模式，建立定价和消费之间的相关性，并分析数以万计的变量之间的相互关系。通过该能源数据平台EDP，公共事业单位可以提前预测数周，或只是分，秒的电量消耗。大型工业电力用户可以优化他们的生产计划和作业，以避开用电高峰。同时，电力供应商可使用该能源数据平台EDP来决定可再生资源，如太阳能，风能的并网，最大限度地减少这些能源间歇性对电网的影响。
DROMS(，需求响应优化及管理系统)为AutoGrid的需求响应管理工具。DROMS从已存在的AMI系统、有线网关、建筑管理系统以及数据采集与监控(SCADA)系统获得实时数据，结合配电系统的物理特性，基于机器智能，分析产生对单一负载的精确预测，在需求响应要求产生之前介入，迅速生成针对某一需求响应的应对策略。除此之外，对甩负荷要求及价格信号亦能有及时准确的反应。
2、优化需求管理
当需求侧管理日益成为电力运营的一个重要部分时，电力大数据的应用也变得日益重要。通过电力大数据的采集、分析及应用，可以帮助电网各端匹配电力供应和需求，降低电网各端的成本。
AutoGrid的客户覆盖发电端、输电端、配电端、用户，可以帮助电网各端匹配电力供应和需求，降低电网各端的成本。AutoGrid的能源数据云平台EDP，收集并处理其客户接入智能电网的智能电表、建筑管理系统、电压调节器和温控器等设备的数据，面向其用电客户提供DROMS，获取能量消耗情况，预测用电量，结合电价信息实现需求侧响应，生成需求侧管理项目的分析报告，提升客户全生命周期的价值收益;面向电网运营者提供DROMS，可提供需求响应应对策略，预测发电情况和电网动态负荷，预测电网运行故障，改善客户平均停电时间和系统运营时间，从而实现电网优化调度，减少非技术性损失，降低运营成本。
来自于ARPA-E项目的支持，AutoGrid还开发了一套软件来监测电力在电网中的流动，帮助公用事业公司更好地满足实时电力需求。在需求高峰期，公共事业公司可以让精打细算的消费者知道他们在能源领域是如何花费的或要求具有环保意识的消费者主动减少自己的能源消耗。从而公共事业公司可以更好地快速有效地管理对电网的需求和供给的波动。
由于在需求响应的突出表现，AutoGrid被美国NavigantResearch列为2014年度需求响应领军企业。
3、建立能耗图景
基于EDP和DROMS，AutoGrid可以为客户提供一个大规模的、动态的、不间断的、供能范围内的整体能耗图景。利用该能耗图景，公共事业公司可以可以实时“看”到本地区的能耗，以更好的进行电力控制。当数据不断被累积，AutoGrid就能提供秒前、分钟前甚至周前的用电预测，可以帮助电力企业客户实现不影响舒适度和生产率情况下的优化排产计划。因此，AutoGrid提供的不仅是能量消耗动态图，它提供的还是需求侧响应的应对方案。

以上是小编为大家分享的关于浅析电力行业如何拥抱大数据的相关内容，更多信息可以关注环球青藤分享更多干货

『拾』 如何应对物联网时代下数据采集的机遇与挑战

大数据泛指巨量的数据集，因可从中挖掘出有价值的信息而受到重视。《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大技术变革。麦肯锡公司的报告指出数据是一种生产资料，大数据是下一个创新、竞争、生产力提高的前沿。世界经济论坛的报告认定大数据为新财富，价值堪比石油。因此，发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手。

大数据时代的来临

互联网特别是移动互联网的发展，加快了信息化向社会经济各方面、大众日常生活的渗透。有资料显示，1998年全球网民平均每月使用流量是1MB（兆字节），2000年是10MB，2003年是100MB，2008年是1GB（1GB等于1024MB），2014年将是10GB。全网流量累计达到1EB（即10亿GB或1000PB）的时间在2001年是一年，在2004年是一个月，在2007年是一周，而2013年仅需一天，即一天产生的信息量可刻满1.88亿张DVD光盘。我国网民数居世界之首，每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易，单日数据产生量超过50TB（1TB等于1000GB），存储量40PB(1PB等于1000TB)。网络公司目前数据总量接近1000PB，存储网页数量接近1万亿页，每天大约要处理60亿次搜索请求，几十PB数据。一个8Mbps（兆比特每秒）的摄像头一小时能产生3.6GB数据，一个城市若安装几十万个交通和安防摄像头，每月产生的数据量将达几十PB。医院也是数据产生集中的地方。现在，一个病人的CT影像数据量达几十GB，而全国每年门诊人数以数十亿计，并且他们的信息需要长时间保存。总之，大数据存在于各行各业，一个大数据时代正在到来。

信息爆炸不自今日起，但近年来人们更加感受到大数据的来势迅猛。一方面，网民数量不断增加，另一方面，以物联网和家电为代表的联网设备数量增长更快。2007年全球有5亿个设备联网，人均0.1个；2013年全球将有500亿个设备联网，人均70个。随着宽带化的发展，人均网络接入带宽和流量也迅速提升。全球新产生数据年增40%，即信息总量每两年就可以翻番，这一趋势还将持续。目前，单一数据集容量超过几十TB甚至数PB已不罕见，其规模大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。

数据规模越大，处理的难度也越大，但对其进行挖掘可能得到的价值更大，这就是大数据热的原因。首先，大数据反映舆情和民意。网民在网上产生的海量数据，记录着他们的思想、行为乃至情感，这是信息时代现实社会与网络空间深度融合的产物，蕴含着丰富的内涵和很多规律性信息。根据中国互联网络信息中心统计，2012年底我国网民数为5.64亿，手机网民为4.2亿，通过分析相关数据，可以了解大众需求、诉求和意见。其次，企业和政府的信息系统每天源源不断产生大量数据。根据赛门铁克公司的调研报告，全球企业的信息存储总量已达2.2ZB（1ZB等于1000EB），年增67％。医院、学校和银行等也都会收集和存储大量信息。政府可以部署传感器等感知单元，收集环境和社会管理所需的信息。2011年，英国《自然》杂志曾出版专刊指出，倘若能够更有效地组织和使用大数据，人类将得到更多的机会发挥科学技术对社会发展的巨大推动作用。

大数据应用的领域

大数据技术可运用到各行各业。宏观经济方面，IBM日本公司建立经济指标预测系统，从互联网新闻中搜索影响制造业的480项经济数据，计算采购经理人指数的预测值。印第安纳大学利用谷歌公司提供的心情分析工具，从近千万条网民留言中归纳出六种心情，进而对道琼斯工业指数的变化进行预测，准确率达到87%。制造业方面，华尔街对冲基金依据购物网站的顾客评论，分析企业产品销售状况；一些企业利用大数据分析实现对采购和合理库存量的管理，通过分析网上数据了解客户需求、掌握市场动向。有资料显示，全球零售商因盲目进货导致的销售损失每年达1000亿美元，这方面的数据分析大有作为。

在农业领域，硅谷有个气候公司，从美国气象局等数据库中获得几十年的天气数据，将各地降雨、气温、土壤状况与历年农作物产量的相关度做成精密图表，预测农场来年产量，向农户出售个性化保险。在商业领域，沃尔玛公司通过分析销售数据，了解顾客购物习惯，得出适合搭配在一起出售的商品，还可从中细分顾客群体，提供个性化服务。在金融领域，华尔街“德温特资本市场”公司分析3.4亿微博账户留言，判断民众情绪，依据人们高兴时买股票、焦虑时抛售股票的规律，决定公司股票的买入或卖出。阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和讲究诚信的企业，对他们发放无需担保的贷款。目前已放贷300多亿元，坏账率仅0.3%。

在医疗保健领域，“谷歌流感趋势”项目依据网民搜索内容分析全球范围内流感等病疫传播状况，与美国疾病控制和预防中心提供的报告对比，追踪疾病的精确率达到97%。社交网络为许多慢性病患者提供临床症状交流和诊治经验分享平台，医生借此可获得在医院通常得不到的临床效果统计数据。基于对人体基因的大数据分析，可以实现对症下药的个性化治疗。在社会安全管理领域，通过对手机数据的挖掘，可以分析实时动态的流动人口来源、出行，实时交通客流信息及拥堵情况。利用短信、微博、微信和搜索引擎，可以收集热点事件，挖掘舆情，还可以追踪造谣信息的源头。美国麻省理工学院通过对十万多人手机的通话、短信和空间位置等信息进行处理，提取人们行为的时空规律性，进行犯罪预测。在科学研究领域，基于密集数据分析的科学发现成为继实验科学、理论科学和计算科学之后的第四个范例，基于大数据分析的材料基因组学和合成生物学等正在兴起。

麦肯锡公司2011年报告推测，如果把大数据用于美国的医疗保健，一年产生潜在价值3000亿美元，用于欧洲的公共管理可获得年度潜在价值2500亿欧元；服务提供商利用个人位置数据可获得潜在的消费者年度盈余6000亿美元；利用大数据分析，零售商可增加运营利润60%，制造业设备装配成本会减少50%。

大数据技术的挑战和启示

目前，大数据技术的运用仍存在一些困难与挑战，体现在大数据挖掘的四个环节中。首先在数据收集方面。要对来自网络包括物联网和机构信息系统的数据附上时空标志，去伪存真，尽可能收集异源甚至是异构的数据，必要时还可与历史数据对照，多角度验证数据的全面性和可信性。其次是数据存储。要达到低成本、低能耗、高可靠性目标，通常要用到冗余配置、分布化和云计算技术，在存储时要按照一定规则对数据进行分类，通过过滤和去重，减少存储量，同时加入便于日后检索的标签。第三是数据处理。有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，难以用传统的方法描述与度量，处理的复杂度很大，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态而且可能是模棱两可的数据中综合信息，并导出可理解的内容。第四是结果的可视化呈现，使结果更直观以便于洞察。目前，尽管计算机智能化有了很大进步，但还只能针对小规模、有结构或类结构的数据进行分析，谈不上深层次的数据挖掘，现有的数据挖掘算法在不同行业中难以通用。

大数据技术的运用前景是十分光明的。当前，我国正处在全面建成小康社会征程中，工业化、信息化、城镇化、农业现代化任务很重，建设下一代信息基础设施，发展现代信息技术产业体系，健全信息安全保障体系，推进信息网络技术广泛运用，是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情，把握规律，实现科学发展，做出科学决策具有重要意义，我们必须重新认识数据的重要价值。

为了开发大数据这一金矿，我们要做的工作还很多。首先，大数据分析需要有大数据的技术与产品支持。发达国家一些信息技术（IT）企业已提前发力，通过加大开发力度和兼并等多种手段，努力向成为大数据解决方案提供商转型。国外一些企业打出免费承接大数据分析的招牌，既是为了练兵，也是为了获取情报。过分依赖国外的大数据分析技术与平台，难以回避信息泄密风险。有些日常生活信息看似无关紧要，其实从中也可摸到国家经济和社会脉搏。因此，我们需要有自主可控的大数据技术与产品。美国政府2012年3月发布《大数据研究与发展倡议》，这是继1993年宣布“信息高速公路”之后又一重大科技部署，联邦政府和一些部委已安排资金用于大数据开发。我们与发达国家有不少差距，更需要国家政策支持。

中国人口居世界首位，将会成为产生数据量最多的国家，但我们对数据保存不够重视，对存储数据的利用率也不高。此外，我国一些部门和机构拥有大量数据却不愿与其他部门共享，导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁，应注重公开信息，应重视数据挖掘。美国联邦政府建立统一数据开放门户网站，为社会提供信息服务并鼓励挖掘与利用。例如，提供各地天气与航班延误的关系，推动航空公司提升正点率。

大数据的挖掘与利用应当有法可依。去年底全国人大通过的加强网络信息保护的决定是一个好的开始，当前要尽快制定“信息公开法”以适应大数据时代的到来。现在很多机构和企业拥有大量客户信息。应当既鼓励面向群体、服务社会的数据挖掘，又要防止侵犯个体隐私；既提倡数据共享，又要防止数据被滥用。此外，还需要界定数据挖掘、利用的权限和范围。大数据系统本身的安全性也是值得特别关注的，要注意技术安全性和管理制度安全性并重，防止信息被损坏、篡改、泄露或被窃，保护公民和国家的信息安全。

大数据时代呼唤创新型人才。盖特纳咨询公司预测大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预测美国到2018年需要深度数据分析人才44万—49万，缺口14万—19万人；需要既熟悉本单位需求又了解大数据技术与应用的管理者150万，这方面的人才缺口更大。中国是人才大国，但能理解与应用大数据的创新人才更是稀缺资源。

大数据是新一代信息技术的集中反映，是一个应用驱动性很强的服务领域，是具有无穷潜力的新兴产业领域；目前，其标准和产业格局尚未形成，这是我国实现跨越式发展的宝贵机会。我们要从战略上重视大数据的开发利用，将它作为转变经济增长方式的有效抓手，但要注意科学规划，切忌一哄而上。