『壹』 怎樣解讀大數據時代
隨著4G的普及和5G的發展,大數據時代到來,在我們的日常生活中,大數據已經存在於生活中,大數據不難理解,但就具體以西而言,可以從三個方面來理解大數據,幫助大家更好地了解。
1、海量數據
從字面上看,大數據實際上是海量數據的聚合。在當今的互聯網時代,當您在手機或電腦上下載和安裝軟體時,您需要對收集個人使用數據的軟體進行授權。否則無法使用,基於這些條件,大數據在合理的時間內,通過合法的手段,對個人的使用習慣和使用信息進行採集、管理和處理,然後將其整合成一個龐大的數據集。
2、大數據技術
企業產生的數據一般稱為大數據,將數據下載並分析到資料庫中。因此,雲計算往往與大數據相結合,大規模的數據分析需要藉助雲計算。大數據應用技術被任何人稱為大數據技術,包括各種大數據平台的應用技術。
3、大數據的目標
通過了解大數據的價值,我們可以了解大數據的重要性,通過了解大數據的特點,我們可以了解大數據在行業中的定性本質。你需要學會分析大數據的發展趨勢,可以從大數據和隱私的角度看數據,大數據的最終目標是通過海量數據與數據測量檢測的融合,幫助提升產品和服務,促進產品和行業的進一步發展。而大數據演算法可以有效幫助政府協調和控制市場,盡可能避免金融危機。
AI智能輿情監控系統,點擊獲取你的專屬報告
快速、全面、精準監測
點亮工場
查看
就大數據而言,大數據的終極價值應該是實踐,它描述了互聯網大數據公司的大數據、個人大數據,最後是政府大數據等各個方面的大數據領域。
『貳』 大數據時代的治理轉型
大數據時代的治理轉型
大數據技術在商業領域已經顯示出提供「解決方案」的驚人能力,同樣可以在國家治理、政府治理、社會治理中運用
國務院通過的《關於促進大數據發展的行動綱要》為未來中國的大數據發展指明了方向。然而,與全球主要發達國家相比,中國仍處於大數據發展的初級階段。如何構築大數據時代的國家競爭發展優勢將具有深遠的戰略意義。
大數據時代的國際競爭格局
當前,大數據正煥發出變革的力量,並正在改變各國綜合國力增速,重塑未來國際戰略格局,主要表現在以下方面。
首先,大數據成為經濟社會發展新的驅動力。隨著物聯網、雲計算、移動互聯網等網路新技術的應用和發展,社會信息化進程進入數據時代,海量數據的產生與流轉成為常態。未來20年,全球50億人將實現聯網,這將使全球數據量呈幾何式快速增長。預計到2020年,全球數據使用量將達到約40ZB(1ZB=10億TB),將成為新的重要驅動力。
其次,大數據將成為重要的戰略資源和核心資產。世界各國對數據的依賴快速上升,國家競爭焦點已經從資本、土地、人口、資源的爭奪轉向了對大數據的爭奪,制信(數)權成為繼制陸權、制海權、制空權之後的新制權。大數據使得數據強國與數據弱國的區分不再以經濟規模和經濟實力論英雄,而是決定於一國大數據能力的優劣。
第三,大數據將改變國家治理的架構和模式。大數據不僅是一場技術和經濟革命,更是一場國家治理的變革。大數據可以通過對海量、動態、高增長、多元化、多樣化數據的高速處理,快速獲得有價值信息,提高公共決策能力。另外,數據主權的提出也使政府、企業和個人的角色發生轉變,使國家治理結構逐步實現從國家獨大的治理結構轉向多元共治,從封閉性治理結構轉向開放性結構,從政府配置資源模式轉向市場配置資源模式的轉變,作為基礎設施的大數據和作為基礎性制度的大數據同時存在。
最後,大數據安全已經成為國家最重要的戰略安全之一。藉助大數據革命,美國等發達國家全球數據監控能力升級,確保自身在網路空間和數據空間的主導地位。各種國家信息基礎設施和重要機構所承載著的龐大數據信息,如由信息網路系統所控制的石油和天然氣管道、水、電力、交通、銀行、金融、商業和軍事等,都有可能成為被攻擊的目標,大數據安全已經上升成為國家安全極為關鍵的組成部分。
主要國家大數據戰略在行動
當前,世界各國紛紛利用大數據提升國家競爭能力和戰略能力。
1.美國大數據戰略的全球領導力。美國政府最先對大數據技術革命做出戰略反應,利用大數據提升國家治理水平和國家競爭優勢。迄今為止,美國政府在大數據方面實施了三輪政策行動。
第一輪是2012年3月,白宮發布《大數據研究和發展計劃》,並成立「大數據高級指導小組」,該計劃有兩個目標:一是用大數據技術系統改造傳統國家治理手段和治理體系;二是形成新的經濟增長業態和板塊。
第二輪是2013年11月,白宮推出「數據-知識-行動」(Data to Knowledge to Action)計劃,進一步細化了利用大數據改造國家治理、促進前沿創新、提振經濟增長的路徑。這是美國向數字治國、數字經濟、數字城市、數字國防轉型的重要舉措。
第三輪是2014年5月,美國總統辦公室提交《大數據:把握機遇,維護價值》政策報告,強調政府部門和私人部門緊密合作,利用大數據最大限度地促進增長和利益,減少風險。
2.歐盟「數據驅動經濟戰略」框架初顯。歐盟在2014年發布了《數據驅動經濟戰略》,有望近期內成為歐盟經濟單列行業,為歐盟恢復經濟增長和擴大就業,做出巨大貢獻。歐盟在大數據方面的活動主要涉及兩方面內容:(1)研究數據價值鏈戰略計劃;(2)資助「大數據」和「開放數據」領域的研究和創新活動。數據價值鏈戰略計劃包括開放數據、雲計算、高性能計算和科學知識開放獲取四大戰略。主要原則是:高質量數據的廣泛獲得性,包括公共資助數據的免費獲得;作為數字化單一市場的一部分,歐盟內的數據自由流動;尋求個人潛在隱私問題與其數據再利用潛力之間的適當平衡,同時賦予公民以其希望形式使用自己數據的權利。
3.亞太地區國家紛紛搶佔大數據戰略制高點。亞洲一些國家在大數據發展中緊追其後。日本積極謀劃利用大數據改造國家治理體系,對沖經濟下行風險。2013年6月,安倍內閣正式公布新IT戰略《創建最尖端IT國家宣言》,以開放大數據為核心的IT國家戰略,把大數據和雲計算衍生出的新興產業群視為提振經濟增長、優化國家治理的重要抓手。
韓國科學技術政策研究院2011年正式提出「大數據中心戰略」以及「構建英特爾綜合資料庫」。同時,韓國社會專職部門制定應對大數據時代計劃。2012年,韓國國家科學技術委員會就大數據未來發展環境發布重要戰略規劃。2013年,在朴槿惠總統「創意經濟」的新國家發展戰略指引下,韓國未來創造科學部提出「培養大數據、雲計算系統相關企業1000個」的國家級大數據發展計劃以及《第五次國家信息化基本計劃(2013-2017)》等多項大數據發展戰略。
總體來看,國外政府大數據政策措施體現出如下明顯特徵:一是頒布戰略規劃進行整體布局,搶佔大數據先機;二是注重構建配套政策,包括人才培養、產業扶持、資金保障、數據開放共享等,為本國大數據發展構築良好的生態環境。
中國准備好了嗎
大數據對於中國的戰略意義毋庸置疑。2013年,中國大數據產業市場規模為34.3億元,同比增長率超100%。然而,與國外先進國家相比,中國大數據發展卻面臨非常嚴峻的風險與挑戰。
1.大數據戰略儲備能力不足,尚缺乏國家頂層設計。從主要發達國家的大數據發展經驗看,美國等國持續強化國家戰略的頂層設計,重點關注大數據對創新能力、國家安全能力、產業競爭力等國家競爭優勢的重構,持續推出大數據國家戰略規劃。目前,中國明確大數據發展戰略的中央部門和政府部門較少,更多是產業界和學術界的探討,大數據戰略的國家頂層設計尚未進入議事日程。此外,大數據治理不是技術問題,而是具有系統性、全局性的戰略問題,需要有全面推動大數據戰略實施的權力部門和核心決策機構。而這些機制設計,中國都明顯缺失和缺位。
2.條塊分割體制壁壘和「信息孤島」,阻礙數據開放和共享。據統計,中國政府掌握著80%以上的數據,政府作為政務信息的採集者、管理者和佔有者,具有其他社會組織不可比擬的信息優勢。但由於信息技術、條塊分割的體制等限制,各級政府部門之間的信息網路往往自成體系、相互割裂,相互之間的數據難以實現互通共享,導致目前政府掌握的數據大都處於割裂和休眠狀態。同時,由於政府部門業務管理信息系統開發和建設的「部門化」,政府信息系統出現「系統林立」和分裂狀態,政府公共信息資源重復採集現象嚴重,信息摩擦和治理成本偏高。總體而言,政府開放數據的程度遠遠落後於世界領先國家。
3.傳統治理思維和治理體制在大數據時代出現明顯的不適應,並引發新的難題。大數據正在重構政府、市場、社會三者之間關系模式,然而,現有國家治理思維和治理體制已經明顯不適應這種大數據時代新趨勢的變化。特別是如果經濟體制、行政體制和社會管理體制改革不能有效跟進,既得利益主體很可能將大數據技術帶來的國家治理契機轉化為既得利益的手段和工具,可能引發新的「權力尋租」、新的「數字鴻溝」等問題。
4.法治建設滯後,維護「數據主權」的法律法規標准及配套政策嚴重缺失。目前,中國大數據法治建設明顯滯後,用於規范、界定「數據主權」的相關法律缺失,缺乏有效的大數據法律框架。
一是對於政府、商業組織和社會機構的數據開放、信息公開的相關法律法規尚待進一步完善,尤其缺乏企業和應用程序中關於搜集、存儲、分析、應用數據的相關法規。
二是沒有對保護本國數據、限制數據跨境流通等做出明確規定。金融、證券、保險等重要行業在華開展業務的外國企業將大量敏感數據傳輸、存儲至其國外的數據中心,存在不可控風險。
三是大數據技術應用與產業發展剛剛起步,缺乏與之相配套的法律法規及政策。
將大數據發展規劃上升為全面的國家戰略
大數據引發的經濟社會革命才剛剛開始,需要全面提升大數據在國家經濟發展和治理方面的重要戰略地位。
1.完善大數據發展的國家頂層設計。要在「行動綱要」基礎上,加快形成大數據國家戰略,包括中長期路線圖與實施重點、目標、路徑。統籌布局,加快大數據發展核心技術研發;推進大數據開放、共享以及安全方面的相關立法與標准制定;搶抓全球科技革命和產業革命戰略機遇,重構國家綜合競爭優勢。
一是把數據主權納入國家核心利益的戰略范疇,加快大數據立法、法律法規和標準的制定。
二是規劃重點領域的大數據研究計劃,布局關鍵技術研發方向,強化大數據基礎設施建設和人才培養,加強對大數據產業的扶持,做好體制機制、資金、法規標准等方面的保障,為後期專項政策制定、項目規劃等提供依據。
三是借鑒國外政府大數據戰略經驗,制定符合中國國情的大數據配套政策路線圖,注重從戰略技術能力儲備和戰略應用實施兩個角度,釋放大數據發展的潛能。
2.構建國家大數據倉庫。應加快G2G(政府與政府之間)、G2B(政府與企業之間)、G2C(政府與公民之間)的大數據開放與共享,盤活大數據資產。
一是加強大數據基礎設施建設。全面推進實施「寬頻中國」戰略,持續支持下一代互聯網、第四代移動通信、公共無線網路、電子政務網、行業專網和物聯網等網路基礎設施建設,建立政府「雲平台」,統籌監測數據管理平台、公眾民情採集與服務數據管理平台、公共安全與應急管理數據管理平台、政府管理績效考評數據管理平台、資源統籌與經濟預警監測數據管理平台。
二是加強基礎數據整合。一方面,整合來自於政府職能部門及業務部門的數據信息資源,推動和規范誠信機構建設,提供完整、准確、及時的企業和個人誠信信息,推進大數據徵信體系建設;另一方面,推動國家基礎數據開放共享進程,打造透明、智慧政府,推動國家、省、市、縣四級大數據交換共享,打通信息橫向和縱向的共享渠道,推進跨地區、跨部門信息資源共享和業務協同,並在此基礎上最終建成國家大數據倉庫。
3.運用大數據,全面提升公共服務水平。從全球領先國家經驗看,社會治理體系和公共服務體系是運用大數據進行改造提升的最有潛力領域。
一是將大數據更廣泛實踐於污染防治、城市規劃、交通、醫療健康、教育、國家安全、社會輿情、軍事等重要領域,在智能交通、智慧醫療、智慧教育、智慧軍工、國防等方面實現重大模式創新。
二是利用大數據加快政府自身革命,制定政府大數據開發與利用的負面清單、權力清單和責任清單。
三是利用大數據實施監管和反腐。大數據給網路問政、網路監督和技術反腐提供了強大的技術支撐,可以利用大數據建立國民滿意度指數、腐敗指數以及清廉指數等。
4.利用大數據創新政府決策方案。大數據技術在商業領域已經顯示出提供「解決方案」的驚人能力,同樣可以在國家治理、政府治理、社會治理方面中運用。以通信網、互聯網、移動互聯網、物聯網四張網為支撐,可以提出大數據智慧城市解決方案、大數據新農村建設解決方案、大數據金融解決方案、大數據智能終端解決方案、大數據位置服務解決方案、大數據教育解決方案、大數據文化創意解決方案、大數據環境解決方案、大數據製造解決方案、大數據生物健康解決方案、大數據中小企業數據中心解決方案、大數據服務平台解決方案、大數據信息安全解決方案等,為大數據戰略真正落地找到突破口。
5.充分挖掘釋放大數據變革、創新經濟的潛能。首先,通過大數據實現製造業數字化、智能化及下一代信息技術的深度融合。要做好大數據與工業寬頻建設的對接,率先將工業寬頻的傳輸、工業大數據採集、數據中心的計算應用等環節整合起來,建立完善的工業互聯網體系和中國的工業4.0體系。
其次,鑒於目前中國的人口要素紅利在「退潮」,土地、資源、環境等生產要素日益緊張,要將大數據作為新的戰略性生產要素釋放出來,建立多元參與的協同創新聯盟,增強產學研合作集成研發能力,激勵基於大數據資源的創新創業,推動經濟實現高質量增長。
再次,利用大數據研判,預測宏觀經濟形勢,開發「經濟增長形勢判斷預測系統」、「物價變化高頻判斷系統」、「金融市場信心判斷系統」、「房地產景氣判斷系統」等,增強對經濟形勢判斷的科學性、精準性。
6.開展全球大數據交流合作。全球主要國家都已提出本國大數據國家戰略,特別是美國、日本等國的數據量非常龐大。中國可通過大數據外交,與之展開國際合作,特別是在應對氣候變化、糧食安全、疾病災害、恐怖主義等領域,以及在「一帶一路」戰略推進過程中,豐富公共外交領域的大數據建設。
此外,可利用大數據技術掌握全球性數據情報和全球焦點事件發展態勢。建議實施中國版「全球脈動」(Global Pusle)項目。聯合國於2009年推出「全球脈動」項目,提出大數據是納米技術和量子計算之後的一個顛覆性變化,用這個技術對Twitter和Facebook等互聯網數據和文本信息開展實時分析監測,使用語言解密軟體對互聯網世界進行「情緒分析」,可以對疾病、動亂、種族沖突提供早期預警。中國可以實施類似的大數據全球情報智能監測項目,對全球重大趨勢進行早期預警,切實維護和保障國家安全。
『叄』 盤點政府推動大數據應用及發展的舉措
盤點政府推動大數據應用及發展的舉措
一、政府:推動大數據應用的最關鍵力量
(一)政府掌握大量最具應用價值的核心數據,是推動大數據應用的最關鍵力量
根據麥肯錫大數據研究報告指出, 各個行業利用大數據價值的難易度以及發展潛力 對比下,政府利用大數據難度最低而潛力最大。
大數據
另一方面政府開放大數據運用已經是大勢所趨:
1、 政府掌握了大量最具應用價值的核心數據。 過去十多年來政府投資進行了大量電子政務或者稱為政府信息化的工作,後台積累了大量的數據,而這些數據和公眾的生產生活息息相關。有研究表明政府所掌握的數據使政府成為了一個國家最重要的信息保有者,有百分之七十到八十的核心數據存在於政府的後台 。
2、 開放數據本身就是政府在大數據時代提供的一項公共服務。 政府數據本質上是國家機關在履行職責時所獲取的數據,採集這些數據的經費來自於公共財政,因而這些數據是公共產品,歸全社會所有,應取之於民,用之於民。
3、 政府開放數據供社會進行增值開放和創新應用,推動經濟增長乃至整個經濟增長方式的轉型。 數據是互聯網創新的重要基礎,如果政府不開放這一部分數據,很多創新應用沒有數據作為支持,數據開發者能利用政府開放的數據,提供更好的服務,創造更多的價值, 這個過程能夠提高整個國家在大數據時代的競爭力。
4、 政府開放數據推動經濟增長獲得的稅收高於單純賣數據獲得的收入。 201 年世界經合組織在關於開放政府數據的報告中提到政府通過開放數據推動經濟增長,從而獲得的稅收收入遠高於單賣數據所能獲得收入。開放數據激發經濟活力從而得到稅收提升,這是一個良 性循環,更是一個能創造巨大公共價值的全局性的戰略。
(二) 國內外政府開放數據的情況
在 2009 年奧巴馬簽署開放政府數據的行政命令後,這些年來開放政府數據已成為了世界性的一個趨勢。美國聯邦數據平台 Data.gov 上線後,在美洲、歐洲、亞洲等地,開放政府數據已成為了政府的一項重要工作。美國聯邦政府的開放政府數據平台開放了來自多個領 域的 13 萬個數據集的數據。這些領域包括圖中所列的農業、商業、氣候、生態、教育、能源、金融、衛生、科研等十多個主題。這些主題下的數據都是美國聯邦政府的各個部委所開放的。英國、加拿大、紐西蘭等國在 2009 年之後都建立起了政府數據開放平台,成為 了國際信息化和大數據領域的一個重要趨勢。
大數據
在我國, 2011 年香港特區政府上線了 data.gov.hk,稱為香港政府資料一線通。上海在 2012年 6 月推出了中國大陸第一個數據開放平台。之後,北京、武漢、無錫、佛山南海等城市也都上線了自己的數據平台。
大數據
(三)、 大數據對於政府治理具有極大的價值
大數據其實對政府的治理帶來了全新的價值,無論是對宏觀經濟的決策能力、產業聚集能力、協同治理能力、社會管理能力、公眾服務能力、快速響應能力的提升,大數據都可以在有很大層面上幫助政府治理。
大數據大數據
(四)、大數據上升至國家戰略成為共識。
大數據時代,對大數據的開發、利用與保護的爭奪日趨激烈,制信權成為繼制陸權、制海權、制空權之後的新制權,大數據處理能力成為強國弱國區分的又一重要指標。國際上以美國為代表的發達國家紛紛布局大數據產業,相繼推出大數據相關政策,大力支持大數據產 業在本國的發展。以美國為例,美國從開展關鍵技術研究、推動大數據應用和開放政府數據三方面布局大數據產業,尤其在開放政府數據方面非常積極,通過 Data.gov開放 37 萬個數據集,並開放網站的 API 和源代碼,提供上千個數據應用。我們認為,大數據未來將 引發新一輪大國競爭,大數據對整個世界的影響力會呈現爆發性增長趨勢,因此包括我國在內的國家會在政策支持力度上不斷提升,大數據戰略將上升至國家戰略已毋庸臵疑。
大數據
(五)、 我國 高度重視大數據未來發展
自去年 3 月「大數據」首次出現在《政府工作報告》中以來,國務院常務會議一年內 6次提及大數據運用。近期在 6 月 17 日的國務院常務會議上,李克強總理再次強調「我們正在推進簡政放權,放管結合、優化服務,而大數據手段的運用十分重要。」 7 月 1 日, 國務院辦公廳印發了《關於運用大數據加強對市場主體服務和監管的若干意見》。
大數據
大數據大數據
(六). 各部委行動時間表已經確,我國大數據發展面臨歷史性機遇
值得注意的是,近期國務院出台文件對各個部委推進大數據任務制定了明確的時間表,很多推進工作任務要求在 2015 年 12 月底前出台政策並實施,近期將是我國大數據發展政策出台的密集期。
表 3: 各部委推進大數據應用時間表
序號工作任務負責單位時間進度1加快建立公民、法人和其他組織統一社會信用代碼制度。發展改革委、中央編辦、公安部、民政部、人民銀行、稅務總局、工商總局、質檢總局2015 年 12 月底前出台並實施2全面實行工商營業執照、組織機構代碼證和稅務登記證「三證合一」、 「一照一碼」登記制度改革。工商總局、中央編辦、發展改革委、質檢總局、稅務總局2015 年 12 月底前實施3建立多部門網上項目並聯審批平台,實現跨部門、跨層級項目審批、核准、備案的「統一受理、同步審查、信息共享、透明公開」。發展改革委會同有關部門2015 年 12 月底前完成4推動政府部門整合相關信息,緊密結合企業需求,利用網站和微博、微信等新興媒體為企業提供服務。網信辦、工業和信息化部持續實施5研究制定在財政資金補助、政府采購、政府購買服務、政府投資工程建設招投標過程中使用信用信息和信用報告的政策措施。財政部、發展改革委2015 年 12 月底前出台並實施6充分運用大數據技術,改進經濟運行監測預測和風險預警,並及時向社會發布相關信息,合理引導市場預期。發展改革委、統計局持續實施7支持銀行、證券、信託、融資租賃、擔保、保險等專業服務機構和行業協會、商會運用大數據為企業提供服務。人民銀行、銀監會、證監會、保監會、民政部持續實施8健全事中事後監管機制,匯總整合和關聯分析有關數據,構建大數據監管模型,提升政府科學決策和風險預判能力。各市場監管部門2015 年 12 月底前取得階段性成果9在辦理行政許可等環節全面建立市場主體准入前信用承諾制度。 信用承諾向社會公開,並納入市場主體信用記錄。各行業主管部門2015 年廣泛開展試點, 2017 年 12 月底前完成10加快建設地方信用信息共享交換平台、部門和行業信用信息系統,通過國家統一的信用信息共享交換平台實現互聯共享。各省級人民政府,各有關部門2016 年 12 月底前完成11建立健全失信聯合懲戒機制,將使用信用信息和信用報告嵌入行政管理和公共服務的各領域、各環節,作為必要條件或重要參考依據。在各領域建立跨部門聯動響應和失信約束機制。建立各行業「黑名單」制度和市場退出機制。推動將申請人良好的信用狀況作為各類行政許可的必備條件。各有關部門,各省級人民政府2015 年 12 月底前取得階段性成果12建立產品信息溯源制度,加強對食品、葯品、農產品、日用消費品、特種設備、地理標志保護產品等重要產品的監督管理,利用物聯網、射頻識別等信息技術,建立產品質量追溯體系,形成來源可查、去向可追、責任可究的信息鏈條。商務部、網信辦會同食品葯品監管總局、農業部、質檢總局、工業和信息化部2015 年 12 月底前出台並實施13加強對電子商務平台的監督管理,加強電子商務信息採集和分析,指導開展電子商務網站可信認證服務,推廣應用網站可信標識,推進電子商務可信交易環境建設。健全權益保護和爭議調處機制。工商總局、商務部、網信辦、工業和信息化部持續實施14進一步加大政府信息公開和數據開放力度。除法律法規另有規定外,將行政許可、行政處罰等信息自作出行政決定之日起 7 個工作日內上網公開。各有關部門,各省級人民政府持續實施15加快實施經營異常名錄制度和嚴重違法失信企業名單制度。建設國家企業信用信息公示系統,依法對企業注冊登記、行政許可、行政處罰等基本信用信息以及企業年度報告、經營異常名錄和嚴重違法失信企業名單進行公示,並與國家統一的信用信息共享交換平台實現有機對接和信息共享。工商總局、其他有關部門,各省級人民政府持續實施16支持探索開展社會化的信用信息公示服務。建設「信用中國 」網站,歸集整合各地區、各部門掌握的應向社會公開的信用信息,實現信用信息一站式查詢,方便社會了解市場主體信用狀況。各級政府及其部門網站要與 「信用中國 」網站連接,並將本單位政務公開信息和相關市場主體違法違規信息在「信用中國 」網站公開。發展改革委、人民銀行、其他有關部門,地方各級人民政府2015 年 12 月底前完成17推動各地區、各部門已建、在建信息系統互聯互通和信息交換共享。在部門信息系統項目審批和驗收環節,進一步強化對信息共享的要求。發展改革委、其他有關部門持續實施18健全國家電子政務網路,加快推進國家政務信息化工程建設,統籌建立人口、法人單位、自然資源和空間地理、宏觀經濟等國家信息資源庫,加快建設完善國家重要信息系統。發展改革委、其他有關部門分年度推進實施, 2020 年前基本建成19加強對市場主體相關信息的記錄,形成信用檔案。對嚴重違法失信的市場主體,按照有關規定列入「黑名單」,並將相關信息納入企業信用信息公示系統和國家統一的信用信息共享交換平台。各有關部門2015 年 12 月底前實施20探索建立政府信息資源目錄。各有關部門2016 年 12 月底前出台目錄編制指南21引導徵信機構根據市場需求,大力加強信用服務產品創新,進一步擴大信用報告在行政管理和公共服務及銀行、證券、保險等領域的應用。發展改革委、人民銀行、銀監會、證監會、保監會2017 年 12 月底前取得階段性成果22落實和完善支持大數據產業發展的財稅、金融、產業、人才等政策,推動大數據產業加快發展。發展改革委、工業和信息化部、財政部、人力資源社會保障部、人民銀行、網信辦、銀監會、證監會、保監會2017 年 12 月底前取得階段性成果23加快研究完善規范電子政務,監管信息跨境流動,保護國家經濟安全、信息安全,以及保護企業商業秘密、個人隱私方面的管理制度,加快制定出台相關法律法規。網信辦、公安部、工商總局、工業和信息化部、發展改革委等部門會同法制辦2017 年 12 月底前出台(涉及法律、行政法規的,按照立法程序推進)24推動出台相關法規,對政府部門在行政管理、公共服務中使用信用信息和信用報告作出規定,為聯合懲戒市場主體違法失信行為提供依據。發展改革委、人民銀行、法制辦2017 年 12 月底前出台(涉及法律、行政法規的,按照立法程序推進)25建立大數據標准體系,研究制定有關大數據的基礎標准、技術標准、應用標准和管理標准等。加快建立政府信息採集、存儲、公開、共享、使用、質量保障和安全管理的技術標准。引導建立企業間信息共享交換的標准規范。工業和信息化部、國家標准委、發展改革委、質檢總局、網信辦、統計局2020 年前分步出台並實施26推動實施大數據示範應用工程,在工商登記、統計調查、質量監管、競爭執法、消費維權等領域率先開展示範應用工程,實現大數據匯聚整合。在宏觀管理、稅收征繳、資源利用與環境保護、食品葯品安全、安全生產、信用體系建設、健康醫療、勞動保障、教育文化、交通旅遊、金融服務、中小企業服務、工業製造、現代農業、商貿物流、社會綜合治理、收入分配調節等領域實施大數據示範應用工程。
『肆』 大數據時代的挑戰、價值與應對策略
大數據時代的挑戰、價值與應對策略
隨著移動互聯網、物聯網、雲計算等的快速發展,及視頻監控、智能終端、應用商店等的快速普及,全球數據量出現爆炸式增長。在此背景下,電信運營商在其網路無休止擴容的同時,卻面臨「增量不增收」的困境;而一些採用「數據驅動型決策」模式經營的公司,則可將其生產力提高5%~6%。因此,有必要深入研究大數據時代(Big Data Era)的挑戰、價值與務實應對策略。
1大數據時代的基本特徵
據統計,2010年以互聯網為基礎所產生的數據比之前所有年份的總和還要多;而且不僅是數據量的激增,數據結構亦在演變。Gartner預計,2012年半結構和非結構化的數據,諸如文檔、表格、網頁、音頻、圖像和視頻等將佔全球網路數據量的85%左右;而且,整個網路體系架構將面臨革命性改變。由此,所謂大數據時代已經來臨!
對於大數據時代,目前通常認為有下述四大特徵,稱為「四V」特徵:
(1)量大(Volume Big)。數據量級已從TB(1012位元組)發展至PB乃至ZB,可稱海量、巨量乃至超量。
(2)多樣化(Variable Type)。數據類型繁多,愈來愈多為網頁、圖片、視頻、圖像與位置信息等半結構化和非結構化數據信息。
(3)快速化(VelocityFast)。數據流往往為高速實時數據流,而且往往需要快速、持續的實時處理;處理工具亦在快速演進,軟體工程及人工智慧等均可能介入。
(4)價值高和密度低(Value HighandLowDensity)。以視頻安全監控為例,連續不斷的監控流中,有重大價值者可能僅為一兩秒的數據流;360°全方位視頻監控的「死角」處,可能會挖掘出最有價值的圖像信息。
2大數據時代面臨的挑戰
(1)運營商帶寬能力與對數據洪流的適應能力面臨前所未有的挑戰,管道化壓力化解及「雲-管-端」的有效裝備也均面臨新挑戰。
(2)大數據的「四V」特徵在數據存儲、傳輸、分析、處理等方面均帶來本質變化。數據量的快速增長,對存儲技術提出了挑戰;同時,需要高速信息傳輸能力支持,與低密度有價值數據的快速分析、處理能力。
(3)海量數據洪流中,在線對話與在線交易活動日益增加,其安全威脅更為嚴峻;而且現今黑客的組織能力、作案工具、作案手法及隱蔽程度更上一層樓,典型的有APT(Advanced Persistent Threat,高級持續性安全威脅)。
(4)大數據環境下通過對用戶數據的深度分析,很容易了解用戶行為和喜好,乃至企業用戶的商業機密,對個人隱私問題必須引起充分重視。
(5)大數據時代的基本特徵,決定其在技術與商業模式上有巨大的創新空間,這將對可持續發展起關鍵作用。
(6)大數據時代的基本特徵及安全挑戰,對政府制訂規則與監管部門發揮作用提出了新的挑戰。
3大數據帶來的價值
(1)利用大數據特徵,藉助雲計算等有效工具,深度挖掘流量與數據價值,可幫助運營商實施好流量經營,減輕管道化風險,發揚「雲-管-端」的智能管道的威力。
(2)多業務環境下掌握用戶體驗效果尤為重要,可從海量用戶數據中深度分析、挖掘出用戶的行為習慣和消費愛好,以實施精準營銷及網路優化,掌控數據增值的「金鑰匙」。
(3)掌握好大數據的存儲、分類、挖掘、快速調用和決策支撐,並應用於企業的日常運營、維護及戰略轉型中,成為企業可持續發展、維持競爭優勢的當務之急與重要途徑。
(4)充分利用對大數據的分析、挖掘,可幫助找到隱蔽性極強的APT之類的安全威脅,助力信息安全部門找到應對新型安全威脅的有效途徑。
(5)通過對公共大數據的分析、挖掘與利用,可減少欺詐行為及錯誤數據的負面作用、追收逃稅漏稅及刺激公共機構生產力等,幫助政府節省開支。例如英國政府即通過此途徑節省大約330億英鎊/年。
4大數據時代的應對策略
(1)大數據時代應以智慧創新理念融合大數據與雲計算,在大數據洪流中提升知識價值洞察力,實施高效實時個性化運作,建立有效增值的商業模式,確保應對APT之類的新型安全威脅。
(2)電信運營商轉型中流量經營已成共識,即以智能管道與聚合平台為基礎,以擴大流量規模、提升流量層次及豐富流量內涵作為基本經營方向,並以釋放流量價值為基本目標,可見大數據和雲計算的深度融合與此流量經營目標十分吻合。實際上已經有一些運營商藉助大數據Hadoop雲工具管理與分析網路中的用戶數據,為日常運維及制定市場戰略等提供有效支撐。
(3)針對大數據時代的基本特徵,加強全方位創新。包括IBM、EMC、HP、Microsoft等在內的IT巨頭,紛紛加速收購相關大數據公司進行技術整合,尋找數據洪流大潮中新的立足點。而涉及人工智慧、機器學習等新技術的創新應用,已初顯效益。
(4)將大數據時代全方位創新工作和智慧城市發展緊密結合。藉助移動互聯網、大數據與雲計算的融合、智能運營管道等,建立智能平台,優化配置城市資源,向真正的智慧城市邁進。
(5)藉助大數據創新處理技術應對APT安全攻擊。APT安全攻擊的最主要特徵為單點隱蔽能力強、攻擊空間路徑不確定、攻擊渠道不確定;同時APT攻擊一旦入侵成功則長期潛伏,攻擊時間上具有持續性。目前,全流量審計方案具備強大的實時檢測能力與事後回溯能力,並可將安全工作人員的分析能力、計算機存儲與運算能力組合在一起,是一種較完整的解決方案。
『伍』 什麼是大數據時代
利用相關演算法對海量數據的存儲、處理與分析,從海量數據中發現價值,服務於生產和生活。
大數據無處不在,社會各行各業都可以找到大數據的印記,在金融,餐飲,電信,體育,娛樂等領域都可以感受到大數據對各行各業的影響
1、更多,更亂,但內部有關系可循。
示例:
大約20年前,亞馬遜剛成立時,傑夫·貝索斯讓50個書評員來為他賣書,他意識到不僅僅可以請人來寫書評,還可以用數據技術來提供圖書推薦。起初他使用的是小數據,不是大數據,把客戶進行分類,比如說有人對中國旅遊或者是對園藝感興趣,系統會自動提供推薦。他的同事告訴他,剛剛開始使用這個數據推薦時,使用體驗並不好;在進一步分析後,亞馬遜決定不對人進行分類,而是對用戶的需求分類。這個做法做法非常成功,以至於到今天,推薦系統為亞馬遜帶去30%的銷售收入。
這就是數據收集和再處理。亞馬遜有交易數據,每買一本書就是一個交易,然後對這個數據進行分析。但今天我們已不再滿足於交易數據了,轉而收集起溝通數據。你看了某一個書評、某一個交流會給商家更多的信息和細節。
2、數據可以被重復使用(數據的產生和收集本身並沒有直接產生服務,最具價值的部分在於:當這些數據在收集以後,會被用於不同的目的,數據被重新再次使用)
示例:
比方說這家公司實時車輛交通數據採集商Inrix,該公司目前有1億個手機端用戶。Inrix可以幫助你開車,避開堵車,為司機呈現路的熱量圖,紅的就表面堵車。如果只提供數據,這個產品沒什麼特色,
但值得一提的是,Inrix並沒有用交警的數據,這個軟體的每位用戶在使用過程中會給伺服器發送實時數據,比如走的多快,走到哪裡,這樣每個客戶都是探測器。
每天早上起來想一下,這么多數據我能用來干什麼,這些價值在哪裡可以找到,能不能找到一個別人以前都沒有做過的事情。你的想法和思路,是最重要的資產。
示例:
我們可以通過大數據來確定哪些地方會有火災。以前防火檢查員只有13%的時間可以准備預測,現在他們找到火災隱患的概率達到了70%,比以前提高了6倍。將效率提高6倍是一個巨大無比的進步,未來的公共服務業可以由此獲得更多便利。
『陸』 跨界給傳統企業帶來的挑戰和機遇
前言/近年來「互聯+」或「物聯網」概念包裝下的星秀企業,攻城撥寨,不斷沖擊、蠶食傳統行業的領域。各類新聞媒體對」互聯+「的追捧,讓眾多傳統企業也開始「琢磨」、「試水」,卻鮮有大的作為。
2016年,國家正大力推進智慧城市建設,而智能建築作為智慧城市建設的重要組成部分,首先扭轉並改善其嚴峻的設備安全形勢及能源管理狀況,面臨千載難逢的歷史機遇期,許多企業在互聯網上尋求新突破的也顯得尤為迫切。
採用該設備能源管理新模式,設備客戶即可輕松分享到諸多價值:被監管設備運行安全0事故、使用壽命延長約20%、人力投入減少50%、能源使用效率提升約20%、管理效率提升節能約15%。我們從而賺取利潤的回報。而這個中間產品、服務做出來是看似第一步,但實際上運營才是真正的第一步,運營在前期就開始介入,技術上一邊要為要做的產品服務,一邊也要配合運營來激活市場,這樣的產品會在更早的時間里接觸到用戶,用戶才是互聯網的核心。
所以,當傳統企業注入互聯網的新基因之後,會給傳統企業帶來更多的機遇和挑戰,傳統企業各環節所謂的「潛規則」,各環節涉及人員的都會受到影響,要想順利完成轉型落地,企業必須清楚這些環節,在轉型的關鍵階段需要打破原來的規則,而製造出新的規則。從這里可以看出轉型的艱難和復雜可見一斑。這是很痛苦和艱難的,但是正是因為痛苦和艱難,「互聯網+「時代我們需要學會用新知識、新思維來武裝自己。從而為傳統企業的發展提供了無限的空間。
『柒』 物聯網產生大數據,大數據助力物聯網
物聯網產生大數據,大數據助力物聯網
大數據時代已經來臨。感測器、RFID等的大量應用,電腦、攝像機等設備和智能手機、平板電腦、可穿戴設備等移動終端的迅速普及,促使全球數字信息總量的急劇增長。物聯網是大數據的重要來源,隨著物聯網在各行各業的推廣應用,每秒鍾物聯網上都會產生海量數據。
數據是資源、財富。大數據分析已成為商業的關鍵元素,基於數據的分析、監控、信息服務日趨普遍。在各行各業中,數據驅動的企業越來越多,他們須實時吸收數據並對之進行分析,形成正確的判斷和決策。大數據正成為IT行業全新的制高點,而基於應用和服務的物聯網將推動大數據的更廣泛運用。
由於物聯網數據具有非結構化、碎片化、時空域等特性,需要新型的數據存儲和處理技術。而大數據技術可支持物聯網上海量數據的更深應用。物聯網幫助收集來自感知層、傳輸層、平台層、應用層的眾多數據,然後將這些海量數據傳送到雲計算平台進行分析加工。物聯網產生的大數據處理過程可以歸結為數據採集、數據存儲和數據分析三個基本步驟。數據採集和存儲是基本功能,而大數據時代真正的價值蘊含在數據分析中。物聯網數據分析的挑戰還在於將新的物聯網數據和已有的資料庫整合。
物聯網上的大數據應用空間廣闊,大數據和物聯網結合充滿無限可能。隨著物聯網、互聯網、移動互聯網、智能終端、大屏顯示系統、雲計算平台等的聯合應用,物聯網上的大數據可幫助人們建立智能監控模型、智能分析模型、智能決策模型等應用,深刻改變人們的生活。
智慧城市是物聯網最大的應用領域,而智慧農業、智能家居、智慧物流、智能安防中的視頻信息處理、智慧交通中的交通實時誘導、智慧環保中的環境監測等物聯網領域都是大數據應用的「用武之地」。如:在環境監測方面,感測器藉助物聯網傳遞信息到互聯網平台或移動互聯網平台,實時監控環境變化。通過環境監控模型,對收集到的海量環境數據進行分析,發現環境指標變化的異常點,幫助環保部門提前預測某地環境的變化情況,對環境指標偏離正常指標值的,提前發出環境污染預警。而智能製造或「工業互聯網」更是未來大數據和物聯網美妙結合的經典案例。在行業應用方面,大數據和物聯網的結合也會「擦出火花」。如:郵政服務可通過大數據和物聯網轉型為「郵政物聯網」。郵政網路可配備低成本感測器,極大地增強郵政運營商收集有價值數據的能力。這個龐大的新數據來源可幫助郵政運營商提升運營能力,改善客戶服務,創造新產品和服務,並為更有效率的決策提供支持。
物聯網的價值在於其數據。物聯網帶來了突破性的技術進步,但管理大數據的問題也變得更加突出,需相關信息通信技術鼎力支撐。如:數據產生、捕捉、傳遞和分析,需快捷、穩定、可靠的廣域網路,3G、4G、WiFi等無線通信技術應不斷優化,以支持物聯網及各感測器節點感知信息能力、傳輸能力、信息處理和存儲能力等的全面提升。
物聯網產生大數據,大數據助力物聯網。由物聯網引發的大數據潮流還將助推雲計算等信息通信新技術的融合發展。
『捌』 淺談大數據時代統計工作方法
淺談大數據時代統計工作方法
大數據時代帶來了數據信息的大爆炸,為社會生活各個領域帶來巨大變革,也給統計調查工作帶來了挑戰。大數據時代數據呈現出總量更大、種類更繁多、操作更復雜等新特點,這對新時代做好統計調查工作提出了新的更高要求,統計調查工作方式方法面臨優化和革新。當然,變革不代表取代和拒絕,而是尋求包容和提升的最佳狀態,使統計調查工作在新時代可以更加科學規范。
——加大信息技術驅動力,推動統計調查各環節技術改革。信息技術革命和互聯網時代催生了大數據,因此大數據時代統計調查必須以現代信息技術為工具和驅動力。一是拓寬數據收集渠道。統計調查數據的收集可以通過互聯網技術利用網路搜索或者從網路公司收集行業信息。二是減少中間環節。傳統統計調查層層統計上報的做法工作量較大,也容易造成數據失真。大數據時代統計調查可以利用網路傳輸數據平台建設等使統計數據第一時間直接從源頭傳輸到需求者,減少中間環節的人為干擾因素,既保證數據的及時性,也能保證數據的真實性和完整性。三是嚴控數據質量。數據的大爆發帶來的數據復雜性勢必會增加數據質量控制和統計執法的難度,因此,應適應時代的特點,建立動態的、在線的數據質量把控和統計執法制度。如在數據統計調查平台建立質量控制模板,實現實時監控,並且建立統計執法與數據質量監測的便捷通道,一旦數據質量報警可以立即在統計執法上得到響應。
——提升統計調查方法的科學性、規范性。以抽樣調查為例,要想快速樹立抽樣調查的權威性和主體地位,就必須在抽樣調查的各個環節建立科學完備的方法論,包括抽樣框構建、抽樣方案設計、抽樣估計和數據調整等各個環節。比如,要建立科學、統一、簡約的抽樣調查指標體系,取消過時的、利用率低的指標,改進不易取得和無法與大數據銜接的指標,增加政府及社會各界普遍關注的、與社會經濟發展相適應的指標。
——加快數據共享,打破部門「數據孤島」。目前,我國政府統計面臨數據來源單一、重復調查等諸多問題,部門「數據孤島」現象存在,阻礙了大數據時代統計調查工作的開展。從國外先進經驗來看,大數據時代需要逐步採用以信息化為媒介的、基於行政記錄和多種信息來源的開放式、共享式數據採集制度,即將不同政府職能部門行政管理信息資料共享化,如人口登記、房產登記、企業信息登記等,不同目的的統計調查僅是在此基礎上增加或修改特定指標即可。在我國,初步的部門數據共享已經實現,如經濟普查利用工商資料庫和基本單位名錄庫等作為清查庫,人口普查以公安部門戶籍資料和社保信息等作為核查依據等,但是仍存在部門統計數據協調難度大、利用效率低等問題。因此,在大數據時代需要快速搭建較為完備的數據交換和共享服務平台,除去部門保密數據資料外,絕大多數的統計數據信息應該逐步實現在政府部門間、甚至面向社會公布和共享,使各種目的的統計調查能夠各取所需、完善補充,有效發揮數據價值,減少社會資源浪費。
——培養新型統計調查人員,加強調查隊伍建設。為應對大數據時代給統計調查工作帶來的復雜性和不確定性,需要打造一支懂技術、守紀律的高素質統計調查隊伍。一是人員專業化。大數據調查需要全新的現代統計方法和統計工具,特別是現代信息技術和雲計算技術,因此必須組建專業程度高、針對性強的業務能手,並且定期組織培訓,培養專業化統計調查人才。二是隊伍穩定化。現代統計方法和統計流程大多大同小異,穩定的統計調查隊伍有利於不同調查方法的融通,減少人員的適應時間,最大限度降低調查成本。近年來,不少地區探索的統計調查外包模式,在一定程度上促進了人員專業化、隊伍穩定化,值得深入研究和推廣。三是組織紀律制度化。2017年4月,國家統計局成立了國家統計局統計執法監督局,標志著全面依法統計依法治統工作開啟了新的征程。統計數據真實性、統計調查科學性、統計執法嚴肅性等問題,一直是伴隨著各項統計調查工作的永恆話題,只有嚴格遵守統計紀律,將組織建設制度化,才能從根本上杜絕統計造假等統計違法行為,才能確保統計調查科學性,維護統計數據權威性。
『玖』 淺析電力行業如何擁抱大數據
淺析電力行業如何擁抱大數據
未來社會發展將會是大數據的時代,數據的意義已經不僅僅是記錄,而是一種能源,一種潛力巨大、影響深遠的能源。2015年8月19日,國務院常務會議通過了《關於促進大數據發展的行動綱要》,特別強調通過大數據的發展,提升創業創新活力和社會治理水平。大數據正在改變著各行各業,同樣,大數據在電力行業也得到廣泛的應用。
電力行業如何擁抱大數據 打破數據壁壘
近年來,在電力領域大數據已經得到了廣泛關注,國內的一些專業機構和高校開展了電力大數據理論和技術研究,我國電力行業也在積極開展大數據研究的應用開發,電網企業、發電企業在電力系統各專業領域開展大數據應用實踐,國家電網公司啟動了多項智能電網大數據應用研究項目。
智能電網是解決能源安全和環境污染問題的根本途徑,是電力系統的必然發展方向;全球能源互聯網則是智能電網的高級階段,「互聯網+智慧能源」進一步豐富了智能電網的內涵;這些新概念均與大數據密切相關,大數據為智能電網的發展和運營提供了全景性視角和綜合性分析方法。就物理性質而言,智能電網是能源電力系統與信息通信系統的高度融合;就其規劃發展和運營而言,智能電網離不開人的參與,且受到社會環境的影響,所以智能電網也可被看作是一個由內、外部數據構成的大數據系統。內部數據由智能電網本身的系統產生,外部數據包括可反映經濟、社會、政策、氣候、用戶特徵、地理環境等影響電網規劃和運行的數據。在智能電網的發展過程中,大數據必將發揮越來越重要的作用。
但是從目前來看,電力行業數據在可獲取的顆粒程度,數據獲取的及時性、完整性、一致性等方面的表現均不盡如人意,數據源的唯一性、及時性和准確性急需提升,部分數據尚需手動輸入,採集效率和准確度還有所欠缺,行業中企業缺乏完整的數據管控策略、組織以及管控流程。電力行業缺乏行業層面的數據模型定義與主數據管理,各單位數據口徑不一致。行業中存在較為嚴重的數據壁壘,業務鏈條間也尚未實現充分的數據共享,數據重復存儲的現象較為突出。
業內稱電力行業擁抱大數據,急需推動電力企業間的數據開放共享,建設電力行業統一的元數據和主數據管理平台,建立統一的電力數據模型和行業級電力數據中心,開發電力數據分析挖掘的模型庫和規則庫,挖掘電力大數據價值,面向行業內外提供內容增值服務。
協調發展智慧電力、智能電網和智慧城市。電力大數據是智慧城市的基石,緊密圍繞智能電力系統的發展開展電力大數據的應用實踐。以重塑電力核心價值、轉變電力發展方式為主線,未來必將實現智能電網與互聯網的深度融合:將與城市的電、熱、氣、水和交通系統實現交互,把電能與供熱、供水、供氣以及交通系統進行互聯互通,形成城市互聯網,通過城市互聯網技術來進行整合,比如給家庭、社區、工業園區、企事業單位、醫院、學校提供一攬子能源解決方案,解決它的水、電、氣、油甚至包括污水處理、垃圾處理、暖氣供應、冷氣供應,整個能源資源的成套解決方案,是人性化、智能化甚至量身定製的解決方案。
案例分析:電力行業如何擁抱大數據
以電力大數據的先行者——AutoGrid為例
1、正確姿勢
AutoGrid的核心為其能源數據雲平台——EnergyDataPlatform(EDP),創造了電力系統全面的、動態的圖景。
類似於高級搜索引擎或天氣預報演算法,AutoGrid的能源數據平台挖掘電網產生的結構化和非結構化數據的財富,進行數據集成,並建立其使用模式,建立定價和消費之間的相關性,並分析數以萬計的變數之間的相互關系。通過該能源數據平台EDP,公共事業單位可以提前預測數周,或只是分,秒的電量消耗。大型工業電力用戶可以優化他們的生產計劃和作業,以避開用電高峰。同時,電力供應商可使用該能源數據平台EDP來決定可再生資源,如太陽能,風能的並網,最大限度地減少這些能源間歇性對電網的影響。
DROMS(,需求響應優化及管理系統)為AutoGrid的需求響應管理工具。DROMS從已存在的AMI系統、有線網關、建築管理系統以及數據採集與監控(SCADA)系統獲得實時數據,結合配電系統的物理特性,基於機器智能,分析產生對單一負載的精確預測,在需求響應要求產生之前介入,迅速生成針對某一需求響應的應對策略。除此之外,對甩負荷要求及價格信號亦能有及時准確的反應。
2、優化需求管理
當需求側管理日益成為電力運營的一個重要部分時,電力大數據的應用也變得日益重要。通過電力大數據的採集、分析及應用,可以幫助電網各端匹配電力供應和需求,降低電網各端的成本。
AutoGrid的客戶覆蓋發電端、輸電端、配電端、用戶,可以幫助電網各端匹配電力供應和需求,降低電網各端的成本。AutoGrid的能源數據雲平台EDP,收集並處理其客戶接入智能電網的智能電表、建築管理系統、電壓調節器和溫控器等設備的數據,面向其用電客戶提供DROMS,獲取能量消耗情況,預測用電量,結合電價信息實現需求側響應,生成需求側管理項目的分析報告,提升客戶全生命周期的價值收益;面向電網運營者提供DROMS,可提供需求響應應對策略,預測發電情況和電網動態負荷,預測電網運行故障,改善客戶平均停電時間和系統運營時間,從而實現電網優化調度,減少非技術性損失,降低運營成本。
來自於ARPA-E項目的支持,AutoGrid還開發了一套軟體來監測電力在電網中的流動,幫助公用事業公司更好地滿足實時電力需求。在需求高峰期,公共事業公司可以讓精打細算的消費者知道他們在能源領域是如何花費的或要求具有環保意識的消費者主動減少自己的能源消耗。從而公共事業公司可以更好地快速有效地管理對電網的需求和供給的波動。
由於在需求響應的突出表現,AutoGrid被美國NavigantResearch列為2014年度需求響應領軍企業。
3、建立能耗圖景
基於EDP和DROMS,AutoGrid可以為客戶提供一個大規模的、動態的、不間斷的、供能范圍內的整體能耗圖景。利用該能耗圖景,公共事業公司可以可以實時「看」到本地區的能耗,以更好的進行電力控制。當數據不斷被累積,AutoGrid就能提供秒前、分鍾前甚至周前的用電預測,可以幫助電力企業客戶實現不影響舒適度和生產率情況下的優化排產計劃。因此,AutoGrid提供的不僅是能量消耗動態圖,它提供的還是需求側響應的應對方案。
以上是小編為大家分享的關於淺析電力行業如何擁抱大數據的相關內容,更多信息可以關注環球青藤分享更多干貨
『拾』 如何應對物聯網時代下數據採集的機遇與挑戰
大數據泛指巨量的數據集,因可從中挖掘出有價值的信息而受到重視。《華爾街日報》將大數據時代、智能化生產和無線網路革命稱為引領未來繁榮的三大技術變革。麥肯錫公司的報告指出數據是一種生產資料,大數據是下一個創新、競爭、生產力提高的前沿。世界經濟論壇的報告認定大數據為新財富,價值堪比石油。因此,發達國家紛紛將開發利用大數據作為奪取新一輪競爭制高點的重要抓手。
大數據時代的來臨
互聯網特別是移動互聯網的發展,加快了信息化向社會經濟各方面、大眾日常生活的滲透。有資料顯示,1998年全球網民平均每月使用流量是1MB(兆位元組),2000年是10MB,2003年是100MB,2008年是1GB(1GB等於1024MB),2014年將是10GB。全網流量累計達到1EB(即10億GB或1000PB)的時間在2001年是一年,在2004年是一個月,在2007年是一周,而2013年僅需一天,即一天產生的信息量可刻滿1.88億張DVD光碟。我國網民數居世界之首,每天產生的數據量也位於世界前列。淘寶網站每天有超過數千萬筆交易,單日數據產生量超過50TB(1TB等於1000GB),存儲量40PB(1PB等於1000TB)。網路公司目前數據總量接近1000PB,存儲網頁數量接近1萬億頁,每天大約要處理60億次搜索請求,幾十PB數據。一個8Mbps(兆比特每秒)的攝像頭一小時能產生3.6GB數據,一個城市若安裝幾十萬個交通和安防攝像頭,每月產生的數據量將達幾十PB。醫院也是數據產生集中的地方。現在,一個病人的CT影像數據量達幾十GB,而全國每年門診人數以數十億計,並且他們的信息需要長時間保存。總之,大數據存在於各行各業,一個大數據時代正在到來。
信息爆炸不自今日起,但近年來人們更加感受到大數據的來勢迅猛。一方面,網民數量不斷增加,另一方面,以物聯網和家電為代表的聯網設備數量增長更快。2007年全球有5億個設備聯網,人均0.1個;2013年全球將有500億個設備聯網,人均70個。隨著寬頻化的發展,人均網路接入帶寬和流量也迅速提升。全球新產生數據年增40%,即信息總量每兩年就可以翻番,這一趨勢還將持續。目前,單一數據集容量超過幾十TB甚至數PB已不罕見,其規模大到無法在容許的時間內用常規軟體工具對其內容進行抓取、管理和處理。
數據規模越大,處理的難度也越大,但對其進行挖掘可能得到的價值更大,這就是大數據熱的原因。首先,大數據反映輿情和民意。網民在網上產生的海量數據,記錄著他們的思想、行為乃至情感,這是信息時代現實社會與網路空間深度融合的產物,蘊含著豐富的內涵和很多規律性信息。根據中國互聯網路信息中心統計,2012年底我國網民數為5.64億,手機網民為4.2億,通過分析相關數據,可以了解大眾需求、訴求和意見。其次,企業和政府的信息系統每天源源不斷產生大量數據。根據賽門鐵克公司的調研報告,全球企業的信息存儲總量已達2.2ZB(1ZB等於1000EB),年增67%。醫院、學校和銀行等也都會收集和存儲大量信息。政府可以部署感測器等感知單元,收集環境和社會管理所需的信息。2011年,英國《自然》雜志曾出版專刊指出,倘若能夠更有效地組織和使用大數據,人類將得到更多的機會發揮科學技術對社會發展的巨大推動作用。
大數據應用的領域
大數據技術可運用到各行各業。宏觀經濟方面,IBM日本公司建立經濟指標預測系統,從互聯網新聞中搜索影響製造業的480項經濟數據,計算采購經理人指數的預測值。印第安納大學利用谷歌公司提供的心情分析工具,從近千萬條網民留言中歸納出六種心情,進而對道瓊斯工業指數的變化進行預測,准確率達到87%。製造業方面,華爾街對沖基金依據購物網站的顧客評論,分析企業產品銷售狀況;一些企業利用大數據分析實現對采購和合理庫存量的管理,通過分析網上數據了解客戶需求、掌握市場動向。有資料顯示,全球零售商因盲目進貨導致的銷售損失每年達1000億美元,這方面的數據分析大有作為。
在農業領域,矽谷有個氣候公司,從美國氣象局等資料庫中獲得幾十年的天氣數據,將各地降雨、氣溫、土壤狀況與歷年農作物產量的相關度做成精密圖表,預測農場來年產量,向農戶出售個性化保險。在商業領域,沃爾瑪公司通過分析銷售數據,了解顧客購物習慣,得出適合搭配在一起出售的商品,還可從中細分顧客群體,提供個性化服務。在金融領域,華爾街「德溫特資本市場」公司分析3.4億微博賬戶留言,判斷民眾情緒,依據人們高興時買股票、焦慮時拋售股票的規律,決定公司股票的買入或賣出。阿里公司根據在淘寶網上中小企業的交易狀況篩選出財務健康和講究誠信的企業,對他們發放無需擔保的貸款。目前已放貸300多億元,壞賬率僅0.3%。
在醫療保健領域,「谷歌流感趨勢」項目依據網民搜索內容分析全球范圍內流感等病疫傳播狀況,與美國疾病控制和預防中心提供的報告對比,追蹤疾病的精確率達到97%。社交網路為許多慢性病患者提供臨床症狀交流和診治經驗分享平台,醫生藉此可獲得在醫院通常得不到的臨床效果統計數據。基於對人體基因的大數據分析,可以實現對症下葯的個性化治療。在社會安全管理領域,通過對手機數據的挖掘,可以分析實時動態的流動人口來源、出行,實時交通客流信息及擁堵情況。利用簡訊、微博、微信和搜索引擎,可以收集熱點事件,挖掘輿情,還可以追蹤造謠信息的源頭。美國麻省理工學院通過對十萬多人手機的通話、簡訊和空間位置等信息進行處理,提取人們行為的時空規律性,進行犯罪預測。在科學研究領域,基於密集數據分析的科學發現成為繼實驗科學、理論科學和計算科學之後的第四個範例,基於大數據分析的材料基因組學和合成生物學等正在興起。
麥肯錫公司2011年報告推測,如果把大數據用於美國的醫療保健,一年產生潛在價值3000億美元,用於歐洲的公共管理可獲得年度潛在價值2500億歐元;服務提供商利用個人位置數據可獲得潛在的消費者年度盈餘6000億美元;利用大數據分析,零售商可增加運營利潤60%,製造業設備裝配成本會減少50%。
大數據技術的挑戰和啟示
目前,大數據技術的運用仍存在一些困難與挑戰,體現在大數據挖掘的四個環節中。首先在數據收集方面。要對來自網路包括物聯網和機構信息系統的數據附上時空標志,去偽存真,盡可能收集異源甚至是異構的數據,必要時還可與歷史數據對照,多角度驗證數據的全面性和可信性。其次是數據存儲。要達到低成本、低能耗、高可靠性目標,通常要用到冗餘配置、分布化和雲計算技術,在存儲時要按照一定規則對數據進行分類,通過過濾和去重,減少存儲量,同時加入便於日後檢索的標簽。第三是數據處理。有些行業的數據涉及上百個參數,其復雜性不僅體現在數據樣本本身,更體現在多源異構、多實體和多空間之間的交互動態性,難以用傳統的方法描述與度量,處理的復雜度很大,需要將高維圖像等多媒體數據降維後度量與處理,利用上下文關聯進行語義分析,從大量動態而且可能是模稜兩可的數據中綜合信息,並導出可理解的內容。第四是結果的可視化呈現,使結果更直觀以便於洞察。目前,盡管計算機智能化有了很大進步,但還只能針對小規模、有結構或類結構的數據進行分析,談不上深層次的數據挖掘,現有的數據挖掘演算法在不同行業中難以通用。
大數據技術的運用前景是十分光明的。當前,我國正處在全面建成小康社會征程中,工業化、信息化、城鎮化、農業現代化任務很重,建設下一代信息基礎設施,發展現代信息技術產業體系,健全信息安全保障體系,推進信息網路技術廣泛運用,是實現四化同步發展的保證。大數據分析對我們深刻領會世情和國情,把握規律,實現科學發展,做出科學決策具有重要意義,我們必須重新認識數據的重要價值。
為了開發大數據這一金礦,我們要做的工作還很多。首先,大數據分析需要有大數據的技術與產品支持。發達國家一些信息技術(IT)企業已提前發力,通過加大開發力度和兼並等多種手段,努力向成為大數據解決方案提供商轉型。國外一些企業打出免費承接大數據分析的招牌,既是為了練兵,也是為了獲取情報。過分依賴國外的大數據分析技術與平台,難以迴避信息泄密風險。有些日常生活信息看似無關緊要,其實從中也可摸到國家經濟和社會脈搏。因此,我們需要有自主可控的大數據技術與產品。美國政府2012年3月發布《大數據研究與發展倡議》,這是繼1993年宣布「信息高速公路」之後又一重大科技部署,聯邦政府和一些部委已安排資金用於大數據開發。我們與發達國家有不少差距,更需要國家政策支持。
中國人口居世界首位,將會成為產生數據量最多的國家,但我們對數據保存不夠重視,對存儲數據的利用率也不高。此外,我國一些部門和機構擁有大量數據卻不願與其他部門共享,導致信息不完整或重復投資。政府應通過體制機制改革打破數據割據與封鎖,應注重公開信息,應重視數據挖掘。美國聯邦政府建立統一數據開放門戶網站,為社會提供信息服務並鼓勵挖掘與利用。例如,提供各地天氣與航班延誤的關系,推動航空公司提升正點率。
大數據的挖掘與利用應當有法可依。去年底全國人大通過的加強網路信息保護的決定是一個好的開始,當前要盡快制定「信息公開法」以適應大數據時代的到來。現在很多機構和企業擁有大量客戶信息。應當既鼓勵面向群體、服務社會的數據挖掘,又要防止侵犯個體隱私;既提倡數據共享,又要防止數據被濫用。此外,還需要界定數據挖掘、利用的許可權和范圍。大數據系統本身的安全性也是值得特別關注的,要注意技術安全性和管理制度安全性並重,防止信息被損壞、篡改、泄露或被竊,保護公民和國家的信息安全。
大數據時代呼喚創新型人才。蓋特納咨詢公司預測大數據將為全球帶來440萬個IT新崗位和上千萬個非IT崗位。麥肯錫公司預測美國到2018年需要深度數據分析人才44萬—49萬,缺口14萬—19萬人;需要既熟悉本單位需求又了解大數據技術與應用的管理者150萬,這方面的人才缺口更大。中國是人才大國,但能理解與應用大數據的創新人才更是稀缺資源。
大數據是新一代信息技術的集中反映,是一個應用驅動性很強的服務領域,是具有無窮潛力的新興產業領域;目前,其標准和產業格局尚未形成,這是我國實現跨越式發展的寶貴機會。我們要從戰略上重視大數據的開發利用,將它作為轉變經濟增長方式的有效抓手,但要注意科學規劃,切忌一哄而上。