供電開展大數據清理

『壹』 電力企業如何做好數據治理

從技術實施角度看，數據治理包含「理」「采」「存」「管」「用」這五個步驟，即業務和數據資源梳理、數據採集清洗、資料庫設計和存儲、數據管理、數據使用。

數據資源梳理：數據治理的第一個步驟是從業務的視角釐清組織的數據資源環境和數據資源清單，包含組織機構、業務事項、信息系統，以及以資料庫、網頁、文件和 API 介面形式存在的數據項資源，本步驟的輸出物為分門別類的數據資源清單。

數據採集清洗：通過可視化的 ETL 工具（例如阿里的 DataX，Pentaho Data Integration）將數據從來源端經過抽取 (extract)、轉換 (transform)、載入 (load) 至目的端的過程，目的是將散落和零亂的數據集中存儲起來。

基礎庫主題庫建設：一般情況下，可以將數據分為基礎數據、業務主題數據和分析數據。基礎數據一般指的是核心實體數據，或稱主數據，例如智慧城市中的人口、法人、地理信息、信用、電子證照等數據。主題數據一般指的是某個業務主題數據，例如市場監督管理局的食品監管、質量監督檢查、企業綜合監管等數據。而分析數據指的是基於業務主題數據綜合分析而得的分析結果數據，例如市場監督管理局的企業綜合評價、產業區域分布、高危企業分布等。那麼基礎庫和主題庫的建設就是在對業務理解的基礎上，基於易存儲、易管理、易使用的原則抽像數據存儲結構，說白了，就是基於一定的原則設計資料庫表結構，然後再根據數據資源清單設計數據採集清洗流程，將整潔干凈的數據存儲到資料庫或數據倉庫中。

元數據管理：元數據管理是對基礎庫和主題庫中的數據項屬性的管理，同時，將數據項的業務含義與數據項進行了關聯，便於業務人員也能夠理解資料庫中的數據欄位含義，並且，元數據是後面提到的自動化數據共享、數據交換和商業智能（BI）的基礎。需要注意的是，元數據管理一般是對基礎庫和主題庫中（即核心數據資產）的數據項屬性的管理，而數據資源清單是對各類數據來源的數據項的管理。

血緣追蹤：數據被業務場景使用時，發現數據錯誤，數據治理團隊需要快速定位數據來源，修復數據錯誤。那麼數據治理團隊需要知道業務團隊的數據來自於哪個核心庫，核心庫的數據又來自於哪個數據源頭。我們的實踐是在元數據和數據資源清單之間建立關聯關系，且業務團隊使用的數據項由元數據組合配置而來，這樣，就建立了數據使用場景與數據源頭之間的血緣關系。 數據資源目錄：數據資源目錄一般應用於數據共享的場景，例如政府部門之間的數據共享，數據資源目錄是基於業務場景和行業規范而創建，同時依託於元數據和基礎庫主題而實現自動化的數據申請和使用。

質量管理：數據價值的成功發掘必須依託於高質量的數據，唯有準確、完整、一致的數據才有使用價值。因此，需要從多維度來分析數據的質量，例如：偏移量、非空檢查、值域檢查、規范性檢查、重復性檢查、關聯關系檢查、離群值檢查、波動檢查等等。需要注意的是，優秀的數據質量模型的設計必須依賴於對業務的深刻理解，在技術上也推薦使用大數據相關技術來保障檢測性能和降低對業務系統的性能影響，例如 Hadoop，MapRece，HBase 等。

商業智能（BI）：數據治理的目的是使用，對於一個大型的數據倉庫來說，數據使用的場景和需求是多變的，那麼可以使用 BI 類的產品快速獲取需要的數據，並分析形成報表，像派可數據就屬於專業的BI廠商。

數據共享交換：數據共享包括組織內部和組織之間的數據共享，共享方式也分為庫表、文件和 API 介面三種共享方式，庫表共享比較直接粗暴，文件共享方式通過 ETL 工具做一個反向的數據交換也就可以實現。我們比較推薦的是 API 介面共享方式，在這種方式下，能夠讓中心數據倉庫保留數據所有權，把數據使用權通過 API 介面的形式進行了轉移。API 介面共享可以使用 API 網關實現，常見的功能是自動化的介面生成、申請審核、限流、限並發、多用戶隔離、調用統計、調用審計、黑白名單、調用監控、質量監控等等。

『貳』 淺析電力行業如何擁抱大數據

淺析電力行業如何擁抱大數據

未來社會發展將會是大數據的時代，數據的意義已經不僅僅是記錄，而是一種能源，一種潛力巨大、影響深遠的能源。2015年8月19日，國務院常務會議通過了《關於促進大數據發展的行動綱要》，特別強調通過大數據的發展，提升創業創新活力和社會治理水平。大數據正在改變著各行各業，同樣，大數據在電力行業也得到廣泛的應用。
電力行業如何擁抱大數據 打破數據壁壘
近年來，在電力領域大數據已經得到了廣泛關注，國內的一些專業機構和高校開展了電力大數據理論和技術研究，我國電力行業也在積極開展大數據研究的應用開發，電網企業、發電企業在電力系統各專業領域開展大數據應用實踐，國家電網公司啟動了多項智能電網大數據應用研究項目。
智能電網是解決能源安全和環境污染問題的根本途徑，是電力系統的必然發展方向;全球能源互聯網則是智能電網的高級階段，「互聯網+智慧能源」進一步豐富了智能電網的內涵;這些新概念均與大數據密切相關，大數據為智能電網的發展和運營提供了全景性視角和綜合性分析方法。就物理性質而言，智能電網是能源電力系統與信息通信系統的高度融合;就其規劃發展和運營而言，智能電網離不開人的參與，且受到社會環境的影響，所以智能電網也可被看作是一個由內、外部數據構成的大數據系統。內部數據由智能電網本身的系統產生，外部數據包括可反映經濟、社會、政策、氣候、用戶特徵、地理環境等影響電網規劃和運行的數據。在智能電網的發展過程中，大數據必將發揮越來越重要的作用。
但是從目前來看，電力行業數據在可獲取的顆粒程度，數據獲取的及時性、完整性、一致性等方面的表現均不盡如人意，數據源的唯一性、及時性和准確性急需提升，部分數據尚需手動輸入，採集效率和准確度還有所欠缺，行業中企業缺乏完整的數據管控策略、組織以及管控流程。電力行業缺乏行業層面的數據模型定義與主數據管理，各單位數據口徑不一致。行業中存在較為嚴重的數據壁壘，業務鏈條間也尚未實現充分的數據共享，數據重復存儲的現象較為突出。
業內稱電力行業擁抱大數據，急需推動電力企業間的數據開放共享，建設電力行業統一的元數據和主數據管理平台，建立統一的電力數據模型和行業級電力數據中心，開發電力數據分析挖掘的模型庫和規則庫，挖掘電力大數據價值，面向行業內外提供內容增值服務。
協調發展智慧電力、智能電網和智慧城市。電力大數據是智慧城市的基石，緊密圍繞智能電力系統的發展開展電力大數據的應用實踐。以重塑電力核心價值、轉變電力發展方式為主線，未來必將實現智能電網與互聯網的深度融合：將與城市的電、熱、氣、水和交通系統實現交互，把電能與供熱、供水、供氣以及交通系統進行互聯互通，形成城市互聯網，通過城市互聯網技術來進行整合，比如給家庭、社區、工業園區、企事業單位、醫院、學校提供一攬子能源解決方案，解決它的水、電、氣、油甚至包括污水處理、垃圾處理、暖氣供應、冷氣供應，整個能源資源的成套解決方案，是人性化、智能化甚至量身定製的解決方案。
案例分析：電力行業如何擁抱大數據
以電力大數據的先行者——AutoGrid為例
1、正確姿勢
AutoGrid的核心為其能源數據雲平台——EnergyDataPlatform(EDP)，創造了電力系統全面的、動態的圖景。
類似於高級搜索引擎或天氣預報演算法，AutoGrid的能源數據平台挖掘電網產生的結構化和非結構化數據的財富，進行數據集成，並建立其使用模式，建立定價和消費之間的相關性，並分析數以萬計的變數之間的相互關系。通過該能源數據平台EDP，公共事業單位可以提前預測數周，或只是分，秒的電量消耗。大型工業電力用戶可以優化他們的生產計劃和作業，以避開用電高峰。同時，電力供應商可使用該能源數據平台EDP來決定可再生資源，如太陽能，風能的並網，最大限度地減少這些能源間歇性對電網的影響。
DROMS(，需求響應優化及管理系統)為AutoGrid的需求響應管理工具。DROMS從已存在的AMI系統、有線網關、建築管理系統以及數據採集與監控(SCADA)系統獲得實時數據，結合配電系統的物理特性，基於機器智能，分析產生對單一負載的精確預測，在需求響應要求產生之前介入，迅速生成針對某一需求響應的應對策略。除此之外，對甩負荷要求及價格信號亦能有及時准確的反應。
2、優化需求管理
當需求側管理日益成為電力運營的一個重要部分時，電力大數據的應用也變得日益重要。通過電力大數據的採集、分析及應用，可以幫助電網各端匹配電力供應和需求，降低電網各端的成本。
AutoGrid的客戶覆蓋發電端、輸電端、配電端、用戶，可以幫助電網各端匹配電力供應和需求，降低電網各端的成本。AutoGrid的能源數據雲平台EDP，收集並處理其客戶接入智能電網的智能電表、建築管理系統、電壓調節器和溫控器等設備的數據，面向其用電客戶提供DROMS，獲取能量消耗情況，預測用電量，結合電價信息實現需求側響應，生成需求側管理項目的分析報告，提升客戶全生命周期的價值收益;面向電網運營者提供DROMS，可提供需求響應應對策略，預測發電情況和電網動態負荷，預測電網運行故障，改善客戶平均停電時間和系統運營時間，從而實現電網優化調度，減少非技術性損失，降低運營成本。
來自於ARPA-E項目的支持，AutoGrid還開發了一套軟體來監測電力在電網中的流動，幫助公用事業公司更好地滿足實時電力需求。在需求高峰期，公共事業公司可以讓精打細算的消費者知道他們在能源領域是如何花費的或要求具有環保意識的消費者主動減少自己的能源消耗。從而公共事業公司可以更好地快速有效地管理對電網的需求和供給的波動。
由於在需求響應的突出表現，AutoGrid被美國NavigantResearch列為2014年度需求響應領軍企業。
3、建立能耗圖景
基於EDP和DROMS，AutoGrid可以為客戶提供一個大規模的、動態的、不間斷的、供能范圍內的整體能耗圖景。利用該能耗圖景，公共事業公司可以可以實時「看」到本地區的能耗，以更好的進行電力控制。當數據不斷被累積，AutoGrid就能提供秒前、分鍾前甚至周前的用電預測，可以幫助電力企業客戶實現不影響舒適度和生產率情況下的優化排產計劃。因此，AutoGrid提供的不僅是能量消耗動態圖，它提供的還是需求側響應的應對方案。

以上是小編為大家分享的關於淺析電力行業如何擁抱大數據的相關內容，更多信息可以關注環球青藤分享更多干貨

『叄』 大數據在電力行業的應用前景有哪些

大數據是指無法在可容忍的時間內用傳統信息技術和軟硬體工具對其進行感知、獲取、管理、處理和服務的數據集合。

大數據已經滲透到每一個行業和業務職能領域，並逐漸成為重要的生產因素。

電力大數據：

對於電力行業而言，電力生產涉及的運行工況參數、設備運行狀態等實時生產數據，現場匯流排系統所採集的設備監測數據以及發電量電壓穩定性等方面的數據，電力企業運營和管理數據如交易電價、售電量用電、客戶信息、綜合數據等共同構成了。

根據電力行業特徵，電力大數據主要來源於：電力生產、管理運營、智能電網。

智慧電力解決方案：利用智能和科學的智慧電力解決方案，如管理及優化企業停電計劃的智能停電管理系統，幫助電網企業優化建設改造投資計劃的智能電網評估與投資優化決策系統，可智能感知電網實時運行狀態並輔助監管人員決策的電網狀態智能感知與報警系統等。

大數據支撐智能電網發展：

在本質上，智能電網是「大數據」在電力上的應用，智能電網的理念是通過獲取更多的如何用電、怎樣用電的信息，來優化電的生產、分配以及消耗。

在智能電網中引入了信息流的概念，即電網要能夠把電能流信息流結合在一起，實現傳輸能源的同時實現數據的採集。智能電網還通過優化模型對數據進行深度挖掘和分析，預測電能流的情況，最終實現清潔發電、高效輸電、動態配電、合理用電的智慧電力的目標。這些目標的實現都需要電力大數據
的支撐。

信息化與智能化是電力行業發展的趨勢，而若要實現電網的信息化與智能化，電力大數據 將是不可或缺的支撐。

『肆』 為什麼電網企業要做大數據分析

為什麼電網企業要做大數據分析呢？這個必須得要分析，不分析的話，整個全市用電企業怎麼去分配這些數據，必須做依據，而通過依據再進行分析。

『伍』 電力大數據的電力大數據技術

電力大數據技術滿足電力數據飛速增長，滿足各專業工作需要，滿足提高電力工業發展需要，服務經濟發展需要。電力大數據技術包括：高性能計算、數據挖掘、統計分析、數據可視化等。 數據挖掘技術是通過分析大量數據，從大量數據中尋找其規律的技術，主要有數據准備、規律尋找和規律表示3個步驟。數據准備是從相關的數據源中選取所需的數據並整合成用於數據挖掘的數據集；規律尋找是用某種方法將數據集所含的規律找出來；規律表示是盡可能以用戶可理解的方式（如可視化）將找出的規律表示出來。
數據挖掘的任務有關聯分析、聚類分析、分類分析、異常分析、特異群組分析和演變分析等等。 統計分析，常指對收集到的有關數據資料進行整理歸類並進行解釋的過程。 統計分析可分為描述統計和推斷統計。
1、描述統計
描述統計是將研究中所得的數據加以整理、歸類、簡化或繪製成圖表，以此描述和歸納數據的特徵及變數之間的關系的一種最基本的統計方法。描述統計主要涉及數據的集中趨勢、離散程度和相關強度，最常用的指標有平均數、標准差、相關系數等。
2、推斷統計
推斷統計指用概率形式來決斷數據之間是否存在某種關系及用樣本統計值來推測總體特徵的一種重要的統計方法。推斷統計包括總體參數估計和假設檢驗，最常用的方法有Z檢驗、T檢驗、卡方檢驗等 2012年7月10日，信通公司成功舉辦大數據開啟智能電網新時代研討會。本次研討會作為公司大數據戰略推進重要一環，總結公司大數據戰略實施以來的重點工作，加深理解大數據對電力信息通信事業的意義，促進大數據生態環境建設，並展望公司及大數據未來發展方向。本次研討會特別邀請了中國寬頻資本基金董事長田溯寧博士、《證析》作者鄭毅先生、浙江海鹽供電局徐光年主任做專題演講。
研討會的成功舉辦，使大家進一步了解了大數據、信息通信技術在智能電網發展、未來科技發展的重要意義，同與會各位專家的交流也使大家開闊了視野、增長了知識。本次研討會也標志了電力大數據戰略將進入攻堅實戰階段，與會人員紛紛表示，要牢牢把握住電力信息通信引領智能電網飛速發展的寶貴機遇，以昂揚的鬥志面對新的挑戰！ 2012電力行業信息化年會於2012年11月3-4日在北京舉行。年會由中國電機工程學會電力信息化專業委員會、國網信息通信有限公司聯合主辦，南瑞集團國電通公司承辦。國家電監會信息中心、國家電網公司信息化工作部、中國南方電網公司信息中心、中國電力建設集團公司信息中心、中國能源建設集團有限公司科技信息部以及各發電集團公司、各省電網公司信息部門等為會議的支持單位。
本次年會主題為「大數據與寬頻中國」。「大數據」將給電力企業帶來新一輪商業模式轉變和價值創新，寬頻中國戰略更為電力信息化發展提速。來自國家電力監管委員會、國家電網公司、國網信息通信有限公司、輔業集團公司、發電集團公司、網省公司等單位的30多位專家和代表將圍繞主題在年會上發言或演講。

『陸』 電力企業從大數據分析中能得到什麼

電力企業從大數據分析中可以得到用戶的使用數據