供电开展大数据清理

『壹』 电力企业如何做好数据治理

从技术实施角度看，数据治理包含“理”“采”“存”“管”“用”这五个步骤，即业务和数据资源梳理、数据采集清洗、数据库设计和存储、数据管理、数据使用。

数据资源梳理：数据治理的第一个步骤是从业务的视角厘清组织的数据资源环境和数据资源清单，包含组织机构、业务事项、信息系统，以及以数据库、网页、文件和 API 接口形式存在的数据项资源，本步骤的输出物为分门别类的数据资源清单。

数据采集清洗：通过可视化的 ETL 工具（例如阿里的 DataX，Pentaho Data Integration）将数据从来源端经过抽取 (extract)、转换 (transform)、加载 (load) 至目的端的过程，目的是将散落和零乱的数据集中存储起来。

基础库主题库建设：一般情况下，可以将数据分为基础数据、业务主题数据和分析数据。基础数据一般指的是核心实体数据，或称主数据，例如智慧城市中的人口、法人、地理信息、信用、电子证照等数据。主题数据一般指的是某个业务主题数据，例如市场监督管理局的食品监管、质量监督检查、企业综合监管等数据。而分析数据指的是基于业务主题数据综合分析而得的分析结果数据，例如市场监督管理局的企业综合评价、产业区域分布、高危企业分布等。那么基础库和主题库的建设就是在对业务理解的基础上，基于易存储、易管理、易使用的原则抽像数据存储结构，说白了，就是基于一定的原则设计数据库表结构，然后再根据数据资源清单设计数据采集清洗流程，将整洁干净的数据存储到数据库或数据仓库中。

元数据管理：元数据管理是对基础库和主题库中的数据项属性的管理，同时，将数据项的业务含义与数据项进行了关联，便于业务人员也能够理解数据库中的数据字段含义，并且，元数据是后面提到的自动化数据共享、数据交换和商业智能（BI）的基础。需要注意的是，元数据管理一般是对基础库和主题库中（即核心数据资产）的数据项属性的管理，而数据资源清单是对各类数据来源的数据项的管理。

血缘追踪：数据被业务场景使用时，发现数据错误，数据治理团队需要快速定位数据来源，修复数据错误。那么数据治理团队需要知道业务团队的数据来自于哪个核心库，核心库的数据又来自于哪个数据源头。我们的实践是在元数据和数据资源清单之间建立关联关系，且业务团队使用的数据项由元数据组合配置而来，这样，就建立了数据使用场景与数据源头之间的血缘关系。 数据资源目录：数据资源目录一般应用于数据共享的场景，例如政府部门之间的数据共享，数据资源目录是基于业务场景和行业规范而创建，同时依托于元数据和基础库主题而实现自动化的数据申请和使用。

质量管理：数据价值的成功发掘必须依托于高质量的数据，唯有准确、完整、一致的数据才有使用价值。因此，需要从多维度来分析数据的质量，例如：偏移量、非空检查、值域检查、规范性检查、重复性检查、关联关系检查、离群值检查、波动检查等等。需要注意的是，优秀的数据质量模型的设计必须依赖于对业务的深刻理解，在技术上也推荐使用大数据相关技术来保障检测性能和降低对业务系统的性能影响，例如 Hadoop，MapRece，HBase 等。

商业智能（BI）：数据治理的目的是使用，对于一个大型的数据仓库来说，数据使用的场景和需求是多变的，那么可以使用 BI 类的产品快速获取需要的数据，并分析形成报表，像派可数据就属于专业的BI厂商。

数据共享交换：数据共享包括组织内部和组织之间的数据共享，共享方式也分为库表、文件和 API 接口三种共享方式，库表共享比较直接粗暴，文件共享方式通过 ETL 工具做一个反向的数据交换也就可以实现。我们比较推荐的是 API 接口共享方式，在这种方式下，能够让中心数据仓库保留数据所有权，把数据使用权通过 API 接口的形式进行了转移。API 接口共享可以使用 API 网关实现，常见的功能是自动化的接口生成、申请审核、限流、限并发、多用户隔离、调用统计、调用审计、黑白名单、调用监控、质量监控等等。

『贰』 浅析电力行业如何拥抱大数据

浅析电力行业如何拥抱大数据

未来社会发展将会是大数据的时代，数据的意义已经不仅仅是记录，而是一种能源，一种潜力巨大、影响深远的能源。2015年8月19日，国务院常务会议通过了《关于促进大数据发展的行动纲要》，特别强调通过大数据的发展，提升创业创新活力和社会治理水平。大数据正在改变着各行各业，同样，大数据在电力行业也得到广泛的应用。
电力行业如何拥抱大数据 打破数据壁垒
近年来，在电力领域大数据已经得到了广泛关注，国内的一些专业机构和高校开展了电力大数据理论和技术研究，我国电力行业也在积极开展大数据研究的应用开发，电网企业、发电企业在电力系统各专业领域开展大数据应用实践，国家电网公司启动了多项智能电网大数据应用研究项目。
智能电网是解决能源安全和环境污染问题的根本途径，是电力系统的必然发展方向;全球能源互联网则是智能电网的高级阶段，“互联网+智慧能源”进一步丰富了智能电网的内涵;这些新概念均与大数据密切相关，大数据为智能电网的发展和运营提供了全景性视角和综合性分析方法。就物理性质而言，智能电网是能源电力系统与信息通信系统的高度融合;就其规划发展和运营而言，智能电网离不开人的参与，且受到社会环境的影响，所以智能电网也可被看作是一个由内、外部数据构成的大数据系统。内部数据由智能电网本身的系统产生，外部数据包括可反映经济、社会、政策、气候、用户特征、地理环境等影响电网规划和运行的数据。在智能电网的发展过程中，大数据必将发挥越来越重要的作用。
但是从目前来看，电力行业数据在可获取的颗粒程度，数据获取的及时性、完整性、一致性等方面的表现均不尽如人意，数据源的唯一性、及时性和准确性急需提升，部分数据尚需手动输入，采集效率和准确度还有所欠缺，行业中企业缺乏完整的数据管控策略、组织以及管控流程。电力行业缺乏行业层面的数据模型定义与主数据管理，各单位数据口径不一致。行业中存在较为严重的数据壁垒，业务链条间也尚未实现充分的数据共享，数据重复存储的现象较为突出。
业内称电力行业拥抱大数据，急需推动电力企业间的数据开放共享，建设电力行业统一的元数据和主数据管理平台，建立统一的电力数据模型和行业级电力数据中心，开发电力数据分析挖掘的模型库和规则库，挖掘电力大数据价值，面向行业内外提供内容增值服务。
协调发展智慧电力、智能电网和智慧城市。电力大数据是智慧城市的基石，紧密围绕智能电力系统的发展开展电力大数据的应用实践。以重塑电力核心价值、转变电力发展方式为主线，未来必将实现智能电网与互联网的深度融合：将与城市的电、热、气、水和交通系统实现交互，把电能与供热、供水、供气以及交通系统进行互联互通，形成城市互联网，通过城市互联网技术来进行整合，比如给家庭、社区、工业园区、企事业单位、医院、学校提供一揽子能源解决方案，解决它的水、电、气、油甚至包括污水处理、垃圾处理、暖气供应、冷气供应，整个能源资源的成套解决方案，是人性化、智能化甚至量身定制的解决方案。
案例分析：电力行业如何拥抱大数据
以电力大数据的先行者——AutoGrid为例
1、正确姿势
AutoGrid的核心为其能源数据云平台——EnergyDataPlatform(EDP)，创造了电力系统全面的、动态的图景。
类似于高级搜索引擎或天气预报算法，AutoGrid的能源数据平台挖掘电网产生的结构化和非结构化数据的财富，进行数据集成，并建立其使用模式，建立定价和消费之间的相关性，并分析数以万计的变量之间的相互关系。通过该能源数据平台EDP，公共事业单位可以提前预测数周，或只是分，秒的电量消耗。大型工业电力用户可以优化他们的生产计划和作业，以避开用电高峰。同时，电力供应商可使用该能源数据平台EDP来决定可再生资源，如太阳能，风能的并网，最大限度地减少这些能源间歇性对电网的影响。
DROMS(，需求响应优化及管理系统)为AutoGrid的需求响应管理工具。DROMS从已存在的AMI系统、有线网关、建筑管理系统以及数据采集与监控(SCADA)系统获得实时数据，结合配电系统的物理特性，基于机器智能，分析产生对单一负载的精确预测，在需求响应要求产生之前介入，迅速生成针对某一需求响应的应对策略。除此之外，对甩负荷要求及价格信号亦能有及时准确的反应。
2、优化需求管理
当需求侧管理日益成为电力运营的一个重要部分时，电力大数据的应用也变得日益重要。通过电力大数据的采集、分析及应用，可以帮助电网各端匹配电力供应和需求，降低电网各端的成本。
AutoGrid的客户覆盖发电端、输电端、配电端、用户，可以帮助电网各端匹配电力供应和需求，降低电网各端的成本。AutoGrid的能源数据云平台EDP，收集并处理其客户接入智能电网的智能电表、建筑管理系统、电压调节器和温控器等设备的数据，面向其用电客户提供DROMS，获取能量消耗情况，预测用电量，结合电价信息实现需求侧响应，生成需求侧管理项目的分析报告，提升客户全生命周期的价值收益;面向电网运营者提供DROMS，可提供需求响应应对策略，预测发电情况和电网动态负荷，预测电网运行故障，改善客户平均停电时间和系统运营时间，从而实现电网优化调度，减少非技术性损失，降低运营成本。
来自于ARPA-E项目的支持，AutoGrid还开发了一套软件来监测电力在电网中的流动，帮助公用事业公司更好地满足实时电力需求。在需求高峰期，公共事业公司可以让精打细算的消费者知道他们在能源领域是如何花费的或要求具有环保意识的消费者主动减少自己的能源消耗。从而公共事业公司可以更好地快速有效地管理对电网的需求和供给的波动。
由于在需求响应的突出表现，AutoGrid被美国NavigantResearch列为2014年度需求响应领军企业。
3、建立能耗图景
基于EDP和DROMS，AutoGrid可以为客户提供一个大规模的、动态的、不间断的、供能范围内的整体能耗图景。利用该能耗图景，公共事业公司可以可以实时“看”到本地区的能耗，以更好的进行电力控制。当数据不断被累积，AutoGrid就能提供秒前、分钟前甚至周前的用电预测，可以帮助电力企业客户实现不影响舒适度和生产率情况下的优化排产计划。因此，AutoGrid提供的不仅是能量消耗动态图，它提供的还是需求侧响应的应对方案。

以上是小编为大家分享的关于浅析电力行业如何拥抱大数据的相关内容，更多信息可以关注环球青藤分享更多干货

『叁』 大数据在电力行业的应用前景有哪些

大数据是指无法在可容忍的时间内用传统信息技术和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。

大数据已经渗透到每一个行业和业务职能领域，并逐渐成为重要的生产因素。

电力大数据：

对于电力行业而言，电力生产涉及的运行工况参数、设备运行状态等实时生产数据，现场总线系统所采集的设备监测数据以及发电量电压稳定性等方面的数据，电力企业运营和管理数据如交易电价、售电量用电、客户信息、综合数据等共同构成了。

根据电力行业特征，电力大数据主要来源于：电力生产、管理运营、智能电网。

智慧电力解决方案：利用智能和科学的智慧电力解决方案，如管理及优化企业停电计划的智能停电管理系统，帮助电网企业优化建设改造投资计划的智能电网评估与投资优化决策系统，可智能感知电网实时运行状态并辅助监管人员决策的电网状态智能感知与报警系统等。

大数据支撑智能电网发展：

在本质上，智能电网是“大数据”在电力上的应用，智能电网的理念是通过获取更多的如何用电、怎样用电的信息，来优化电的生产、分配以及消耗。

在智能电网中引入了信息流的概念，即电网要能够把电能流信息流结合在一起，实现传输能源的同时实现数据的采集。智能电网还通过优化模型对数据进行深度挖掘和分析，预测电能流的情况，最终实现清洁发电、高效输电、动态配电、合理用电的智慧电力的目标。这些目标的实现都需要电力大数据
的支撑。

信息化与智能化是电力行业发展的趋势，而若要实现电网的信息化与智能化，电力大数据 将是不可或缺的支撑。

『肆』 为什么电网企业要做大数据分析

为什么电网企业要做大数据分析呢？这个必须得要分析，不分析的话，整个全市用电企业怎么去分配这些数据，必须做依据，而通过依据再进行分析。

『伍』 电力大数据的电力大数据技术

电力大数据技术满足电力数据飞速增长，满足各专业工作需要，满足提高电力工业发展需要，服务经济发展需要。电力大数据技术包括：高性能计算、数据挖掘、统计分析、数据可视化等。 数据挖掘技术是通过分析大量数据，从大量数据中寻找其规律的技术，主要有数据准备、规律寻找和规律表示3个步骤。数据准备是从相关的数据源中选取所需的数据并整合成用于数据挖掘的数据集；规律寻找是用某种方法将数据集所含的规律找出来；规律表示是尽可能以用户可理解的方式（如可视化）将找出的规律表示出来。
数据挖掘的任务有关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等等。 统计分析，常指对收集到的有关数据资料进行整理归类并进行解释的过程。 统计分析可分为描述统计和推断统计。
1、描述统计
描述统计是将研究中所得的数据加以整理、归类、简化或绘制成图表，以此描述和归纳数据的特征及变量之间的关系的一种最基本的统计方法。描述统计主要涉及数据的集中趋势、离散程度和相关强度，最常用的指标有平均数、标准差、相关系数等。
2、推断统计
推断统计指用概率形式来决断数据之间是否存在某种关系及用样本统计值来推测总体特征的一种重要的统计方法。推断统计包括总体参数估计和假设检验，最常用的方法有Z检验、T检验、卡方检验等 2012年7月10日，信通公司成功举办大数据开启智能电网新时代研讨会。本次研讨会作为公司大数据战略推进重要一环，总结公司大数据战略实施以来的重点工作，加深理解大数据对电力信息通信事业的意义，促进大数据生态环境建设，并展望公司及大数据未来发展方向。本次研讨会特别邀请了中国宽带资本基金董事长田溯宁博士、《证析》作者郑毅先生、浙江海盐供电局徐光年主任做专题演讲。
研讨会的成功举办，使大家进一步了解了大数据、信息通信技术在智能电网发展、未来科技发展的重要意义，同与会各位专家的交流也使大家开阔了视野、增长了知识。本次研讨会也标志了电力大数据战略将进入攻坚实战阶段，与会人员纷纷表示，要牢牢把握住电力信息通信引领智能电网飞速发展的宝贵机遇，以昂扬的斗志面对新的挑战！ 2012电力行业信息化年会于2012年11月3-4日在北京举行。年会由中国电机工程学会电力信息化专业委员会、国网信息通信有限公司联合主办，南瑞集团国电通公司承办。国家电监会信息中心、国家电网公司信息化工作部、中国南方电网公司信息中心、中国电力建设集团公司信息中心、中国能源建设集团有限公司科技信息部以及各发电集团公司、各省电网公司信息部门等为会议的支持单位。
本次年会主题为“大数据与宽带中国”。“大数据”将给电力企业带来新一轮商业模式转变和价值创新，宽带中国战略更为电力信息化发展提速。来自国家电力监管委员会、国家电网公司、国网信息通信有限公司、辅业集团公司、发电集团公司、网省公司等单位的30多位专家和代表将围绕主题在年会上发言或演讲。

『陆』 电力企业从大数据分析中能得到什么

电力企业从大数据分析中可以得到用户的使用数据