油氣大數據分析利用

Ⅰ 如何進行大數據分析及處理

1.可視化分析

大數據分析的使用者有大數據分析專家，同時還有普通用戶，但是他們二者對於大數據分析最基本的要求就是可視化分析，因為可視化分析能夠直觀的呈現大數據特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明了。

2. 數據挖掘演算法

大數據分析的理論核心就是數據挖掘演算法，各種數據挖掘的演算法基於不同的數據類型和格式才能更加科學的呈現出數據本身具備的特點，也正是因為這些被全世界統計 學家所公認的各種統計方法（可以稱之為真理）才能深入數據內部，挖掘出公認的價值。

另外一個方面也是因為有這些數據挖掘的演算法才能更快速的處理大數據，如 果一個演算法得花上好幾年才能得出結論，那大數據的價值也就無從說起了。

3. 預測性分析

大數據分析最終要的應用領域之一就是預測性分析，從大數據中挖掘出特點，通過科學的建立模型，之後便可以通過模型帶入新的數據，從而預測未來的數據。

4. 語義引擎

非結構化數據的多元化給數據分析帶來新的挑戰，我們需要一套工具系統的去分析，提煉數據。

語義引擎需要設計到有足夠的人工智慧以足以從數據中主動地提取信息。

5.數據質量和數據管理。

大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理，無論是在學術研究還是在商業應用領域，都能夠保證分析結果的真實和有價值。

大數據分析的基礎就是以上五個方面，當然更加深入大數據分析的話，還有很多很多更加有特點的、更加深入的、更加專業的大數據分析方法。

大數據的技術

數據採集： ETL工具負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後載入到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。

數據存取： 關系資料庫、NOSQL、SQL等。

基礎架構： 雲存儲、分布式文件存儲等。

數據處理： 自然語言處理(NLP，Natural Language Processing)是研究人與計算機交互的語言問題的一門學科。

處理自然語言的關鍵是要讓計算機」理解」自然語言，所以自然語言處理又叫做自然語言理解也稱為計算語言學。

一方面它是語言信息處理的一個分支，另一方面它是人工智慧的核心課題之一。

統計分析： 假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、 方差分析 、 卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、 因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析（最優尺度分析）、bootstrap技術等等。

數據挖掘： 分類 （Classification）、估計（Estimation）、預測（Prediction）、相關性分組或關聯規則（Affinity grouping or association rules）、聚類（Clustering）、描述和可視化、Description and Visualization）、復雜數據類型挖掘(Text, Web ,圖形圖像，視頻，音頻等)

模型預測 ：預測模型、機器學習、建模模擬。

結果呈現： 雲計算、標簽雲、關系圖等。

大數據的處理

1. 大數據處理之一：採集

大數據的採集是指利用多個資料庫來接收發自客戶端（Web、App或者感測器形式等）的 數據，並且用戶可以通過這些資料庫來進行簡單的查詢和處理工作。

比如，電商會使用傳統的關系型資料庫MySQL和Oracle等來存儲每一筆事務數據，除 此之外，Redis和MongoDB這樣的NoSQL資料庫也常用於數據的採集。

在大數據的採集過程中，其主要特點和挑戰是並發數高，因為同時有可能會有成千上萬的用戶 來進行訪問和操作，比如火車票售票網站和淘寶，它們並發的訪問量在峰值時達到上百萬，所以需要在採集端部署大量資料庫才能支撐。

並且如何在這些資料庫之間 進行負載均衡和分片的確是需要深入的思考和設計。

2. 大數據處理之二：導入/預處理

雖然採集端本身會有很多資料庫，但是如果要對這些海量數據進行有效的分析，還是應該將這 些來自前端的數據導入到一個集中的大型分布式資料庫，或者分布式存儲集群，並且可以在導入基礎上做一些簡單的清洗和預處理工作。

也有一些用戶會在導入時使 用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。

導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鍾的導入量經常會達到百兆，甚至千兆級別。

3. 大數據處理之三：統計/分析

統計與分析主要利用分布式資料庫，或者分布式計算集群來對存儲於其內的海量數據進行普通 的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基於 MySQL的列式存儲Infobright等，而一些批處理，或者基於半結構化數據的需求可以使用Hadoop。

統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的佔用。

4. 大數據處理之四：挖掘

與前面統計和分析過程不同的是，數據挖掘一般沒有什麼預先設定好的主題，主要是在現有數 據上面進行基於各種演算法的計算，從而起到預測（Predict）的效果，從而實現一些高級別數據分析的需求。

比較典型演算法有用於聚類的Kmeans、用於 統計學習的SVM和用於分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。

該過程的特點和挑戰主要是用於挖掘的演算法很復雜，並 且計算涉及的數據量和計算量都很大，常用數據挖掘演算法都以單線程為主。

整個大數據處理的普遍流程至少應該滿足這四個方面的步驟，才能算得上是一個比較完整的大數據處理。

Ⅱ 油氣地質資料數字資源服務的創新方式與保障條件

趙傳玉

(中國石油化工股份有限公司石油勘探開發研究院)

摘要 油氣地質資料數字資源服務的常規方式包括網路目錄檢索、網路全文瀏覽與下載兩種； 創新方式則包括數字地圖導航服務、在線繪圖與對比服務、移動化利用服務、數據挖掘與知識服務以及大數據服務5種。油氣地質資料數字資源服務的創新方式，需要具備豐富的數字化資源、完善的檔案管理信息系統、大容量的網路帶寬以及具有大數據思維的檔案工作者4個方面的保障條件。

關鍵詞 油氣地質資料 數字資源 利用服務 數字地圖 數據挖掘 知識服務 大數據

0 引言

油氣地質資料是對石油天然氣勘探開發地質資料的簡稱，是指在石油天然氣勘探開發生產和科研過程中形成的文字、圖表、數據、聲像等形式的原始地質資料，以及成果地質資料和岩心、岩屑、光薄片等實物地質資料。《地質資料管理條例》及其實施辦法發布十餘年來，油氣地質資料的數字資源建設與服務工作經歷了一個從無到有、不斷壯大的過程。

目前已經比較成熟、正在被各油氣田勘探開發單位廣泛應用的油氣地質資料數字資源服務方式，主要包括網路目錄檢索、網路全文瀏覽與下載兩種方式。網路目錄檢索是指通過網路提供油氣地質資料的案卷級與文件級目錄信息的檢索服務，授權用戶可通過這種方式查找到館藏中的任何一個案卷或一份文件。網路全文瀏覽與下載是指通過網路提供油氣地質資料的全文瀏覽與下載服務，該項服務在目錄資料庫建設的基礎上開展，授權用戶可在線瀏覽地質資料的主要內容，也可下載至本機進一步利用。

1 油氣地質資料數字資源服務的創新方式

隨著IT技術的不斷發展和資源建設程度的不斷推進，油氣地質資料數字資源服務方式也要不斷創新。結合工作實際及國內外的相關文獻，筆者總結了如下5種創新服務方式。

1.1 數字地圖導航服務

數字地圖導航服務，是指利用基於GIS(Geographic Information System，地理信息系統)導航，以地質資料內容對應的工作區的地理坐標為檢索點，向用戶提供某一特定地理區域所包含的全部油氣地質資料的一種服務方式，它是網路目錄檢索、全文瀏覽與下載的一種有益補充，要在地質資料檢索系統上集成GIS服務方可實現，目前比較成熟的平台有ArcGIS平台、Google公司提供的Google Earth服務等。

油氣田勘探開發工作，必須充分佔有目標區域的全部資料，才能有的放矢深入研究。用戶使用常規的檢索方法，以題名、作者、關鍵詞等作為檢索詞，往往難以覆蓋目標區域的全部資料。地質資料館藏機構通過對資料內容涉及的空間數據進行著錄並在檢索系統中集成GIS導航服務等方式，不僅讓用戶可以直觀的掌握目標區域的地理與地形情況，還可以通過GIS導航平台提供的點選和圈選功能，查詢該區域內的全部油氣地質資料。

筆者所在單位通過建立空間資料庫，著錄油氣地質資料內容對應的工作區的地理坐標信息，並在檢索系統中集成GIS平台，實現了對油氣地質資料的GIS導航查詢服務。用戶登錄後，只需框選某一特定區域，即可查詢這一區域內中石化各油氣田勘探開發單位形成的油氣地質資料情況，極大地提高了查全率與查准率，效果反饋良好。

1.2 在線繪圖與對比服務

這是一種全新的服務方式，主要是以館藏的各類數據體為基礎，通過管理信息系統與檢索系統，提供對這些數據體的自定義可視化以及對比服務。

以測井數據體為例，測井是指利用岩層的電化學、導電、聲學、放射性等地球物理特性，測量地球物理參數的過程。測井的方法眾多，也形成了多種類型、多種格式的測井數據體，而這些測井數據體一般都不便直接閱讀，必須形成測井曲線圖才能方便利用。在線繪圖與對比服務，就是將館藏每一口井的全部測井數據體，上傳至存儲伺服器，並與相應的案卷級目錄信息、文件級目錄信息鏈接，用戶在瀏覽時，可根據自身需要，選擇一口井的某一類或某幾類測井數據體，或者多口井的某一類測井數據體，利用管理信息系統提供的在線繪圖功能，實時繪制測井曲線圖並進行對比。該服務方式可以讓用戶自行確定測井曲線種類、選擇圖件參數、圖件顯示方式等，大大提高了利用效率和利用效果。

目前中石化油氣勘探開發源頭數據採集系統中的測井數據採集系統，採集了測井數據體後，就是通過在線繪圖、在線對比、在線統計等方式來展示採集結果的，效果非常好。這一系統的成功實踐，為油氣地質資料數字資源的在線服務提供了一種借鑒思路。

1.3 移動化利用服務

移動互聯網飛速發展，各種業務在移動設備上的應用越來越成熟。筆者認為，隨著手持移動設備(手機、平板電腦等)硬體配置越來越高，對復雜任務的處理能力與處理速度大幅提高；3G、4G等高速移動互聯網的進一步普及，為油氣地質資料利用服務的移動化提供了機遇。英國地質調查局在2010年9月發布了其第一個基於iOS系統的APP——iGeology，用戶可藉助該APP在英國任意地方通過移動設備檢索1：50000地質圖及相關數據，利用效果顯著。全國地質資料館在2013年也分別發布了基於iOS和Android系統的手機客戶端，可以直接通過手機查詢地質資料並發起資料訂購。

對於油氣田勘探開發單位而言，我們可效仿上述成功經驗，開發專門的第三方應用程序(APP)，通過局部推送、切片技術、鷹眼技術等手段，解決大容量電子文件在移動互聯網上的推送和在手持移動設備上的顯示等問題，經授權和認證後，可根據勘探開發科研生產一線工作者的需要，將其急需的油氣地質資料數字資源，推送到他們的手持移動設備上，提高服務與支撐效率。

1.4 數據挖掘與知識服務

數據挖掘一般是指從大量數據中自動搜索隱藏於其中的有著特殊關系性信息的過程。油氣地質資料管理信息系統中，既保管有豐富的電子資源，又擁有龐大用戶群的利用記錄，這兩者對計算機而言都是大量的數據，為提供數據挖掘與知識服務奠定了基礎。

數據挖掘與知識服務包含了兩個方面的含義，一方面是指對館藏油氣地質資料中的有用數據進行挖掘。對地質現象的認識，是隨著相關資料檔案的豐富、技術的更新、方法的優化而不斷精確的。館藏油氣地質資料是在多年的勘探開發工作中不斷形成的，其包含了廣大勘探開發工作者對地質現象認識的不斷總結和提煉。可以通過統計、在線分析處理、情報檢索、機器學習、專家系統和模式識別等諸多方法，對地質資料中有關某一特定區域、某一特定地質現象的數據進行深入挖掘、分析，將其中的隱形知識挖掘出來轉換成顯性知識並提供服務。另一方面是指對用戶利用數據的挖掘。用戶在管理信息系統中，檢索檔案目錄、瀏覽下載檔案電子文件時，都會形成大量的有關利用的數據，包括利用時間、利用熱點、利用興趣方向等，對這些數據進行挖掘，可針對不同用戶的興趣點，提供個性化、有針對性的服務。對用戶利用數據的挖掘，分為3個層次，一是對全體用戶利用數據的挖掘，分析全體用戶最感興趣的利用服務內容、方式、方法等，以促進利用服務工作的改進和優化。二是對特定群體用戶(如某一單位、某一研究室)特定時間段利用數據的挖掘，分析他們的階段性利用興趣，可為有針對性提供主動上門服務提供方向。三是對個體用戶利用數據的挖掘，可分析該用戶的研究方向、傾向的服務方式等，從而為該用戶提供更好地數據資源利用服務。

筆者所在的單位已對用戶利用數據進行了第一、三兩個層次的挖掘，我們通過管理信息系統統計用戶的搜索關鍵詞、瀏覽與下載興趣等，分析階段時間內全體用戶以及個體用戶利用興趣的Top 10，在用戶檢索界面進行動態顯示與實時更新，總體效果不錯。目前我們正在嘗試對用戶利用數據進行第二層次的挖掘，以便更好地提供利用服務。

1.5 大數據服務

大數據時代已經來臨，藉助飛速發展的信息技術和硬體技術，我們日常生活的衣食住行都在不斷形成大數據，這已是社會共識。在目前的油氣田勘探開發各項活動中，形成的數據量非常大，也屬於大數據的范疇；各級地質資料館(室)館藏的油氣地質資料及其數字資源，其數據量更加龐大。面對如此龐大的數字資源，單純提供個體數字資源的服務將逐漸不符合油氣田勘探開發工作的實際，我們要具備大數據的思維，將館藏全部數據資源視為一個整體，提供整體服務，通過尋找各項地質工作與油氣田勘探發現、油氣田開發產能建設之間的相關關系來提供服務。

據筆者目前掌握資料來看，大數據服務尚未在油氣地質資料部門開展，但Google、Visa等掌握了大量數據的公司進行大數據服務的案例屢見報端。中石油、中石化、中海油等公司都掌握了大量的油氣地質資料數字資源，提供大數據服務來促進油氣勘探發現與油氣田開發產能建設，勢必不會太遙遠。

2 油氣地質資料數字資源服務的保障條件

油氣地質資料相較其他參考資料，具有原始性與系統性兩大優勢。原始性是因為其是油氣田勘探開發工作的原始記錄，系統性則是因為其系統記錄了各項油氣田勘探開發活動的過程和結果。基於這些優勢，必須重點開展油氣地質資料的數字資源服務，創新服務方式。結合工作實際，筆者認為創新服務方式，要具備如下幾方面的保障條件。

2.1 基礎條件——豐富的數字化資源

豐富的數字化資源是開展數字資源服務的基礎條件。豐富的數字化資源包括兩個方面，一是數字化的紙質地質資料，主要是指利用掃描技術、OCR技術、存儲技術等技術手段，形成館藏紙質地質資料的數字化版本；二是各種數據體，主要是指在物化探、鑽井、測井、錄井等油氣田勘探開發工作中，利用各種儀器採集和(或)形成的大量的數據體，及其解譯數據。這些數據體是對地質現象的原始記錄，是數字資源服務的主體，對其利用需求遠大於對數字化的紙質地質資料的利用需求。而這些數據體往往是各項工作的中間性成果，對其歸檔的控制力度稍弱，需要各級檔案部門採取切實可行的歸檔監管措施，確保這些數據體及其解譯成果能及時、全面地歸檔，以築牢油氣地質資料數字資源服務的基礎。

2.2 技術條件——完善的地質資料管理信息系統

開展數字資源服務，完善的地質資料管理信息系統是技術保障。無論是數字化的紙質地質資料，還是各種數據體，都是以代碼形式存儲在光碟、磁碟等光磁載體上，必須藉助完善的地質資料管理信息系統，方能有效地開展利用服務。完善的地質資料管理信息系統應該具備兩方面的基本功能，一是能作為油氣地質資料日常管理的工具，可提供從歸檔、整理到編目、著錄檢索、統計等各個基本環節的信息化管理，提高日常管理工作水平；二是能作為用戶利用服務的終端，用戶無論是進行目錄、全文檢索，還是全文瀏覽與下載，都可藉助於該管理信息系統實時並動態顯示。

2.3 環境條件——大容量的網路帶寬

從筆者所在單位的情況來看，通過網路提供地質資料利用服務近年來發展迅猛，在部分單位的地質資料部門已成為提供利用服務工作的主要方式。油氣田勘探開發工作中形成的地質資料，大部分是技術報告以及各種技術圖件，其電子文件體積一般都比較大，動輒在幾百兆位元組(MB)甚至吉位元組(GB)，要將這些大體積的電子文件通過網路提供利用，大容量的網路帶寬必不可少。

2.4 智力條件——具有大數據思維的地質資料工作者

任何一項工作的正常開展，都必須有一定數量的專業技術人才為依託。筆者認為，要充分開展油氣地質資料數字資源的利用服務工作，具有大數據思維的地質資料工作者是必不可少的智力條件。一方面，他們可從資料檔案專業的角度，按資料檔案工作的規律與特點開展油氣地質資料數字資源的利用服務工作；另一方面，他們還可從數據的角度，開展對油氣地質資料數字資源中豐富數據的挖掘、提煉與整合，結合油氣田勘探開發業務工作，提供有針對性的內容服務；第三方面，他們還可從大數據的角度，將油氣地質資料數字資源作為一種大數據來整體考慮，通過IT部門的配合，來發掘各類數字資源與油氣田勘探開發工作的相關關系，從而提供其他利用服務方式所無法提供的數據與知識服務。

參考文獻

[1]葛紅.數字時代檔案信息資源的開發利用[J].科技與企業，2010(6)：84～85.

[2]塗子沛.大數據[M].南寧：廣西師范大學出版社，2012.

[3]Q/SH 0167-2008 石油天然氣勘探與開發油氣地質資料立卷歸檔規則[S].2008-02-25.

[4]British Geologecal Survey.British Geological Survey Annual Report 2010-11[EB/OL].2011[2013-02-25].http://www.bgs.ac.uk/downloads/start.cfm?id=2252.

Ⅲ 大數據在各行各業幾乎都站穩了腳跟

大數據時代的到來，改變的不僅僅是傳統的商業模式，更深入到人們的生活、工作等各個環節，以及人們的傳統觀念之中。隨著互聯網的發展，信息交流也在不斷加速，大數據在各行各業幾乎都站穩了腳跟，特別是越來越多的政府機構與公司組織都已經把大數據應用作為了重要的一環。
大數據不僅是一場顛覆性的技術革命，更是一種思維方式、行為模式與治理理念的全方位變革。那麼，大數據在社會生活中都有哪些運用與實踐呢 在瞬息萬變的時代，行業信息也顯得愈發重要，數據猿編輯在此為您做詳細解析。
大數據助推金融機構的戰略轉型
隨著互聯網特別是移動互聯網的爆發式增長，未來將迎來一個大數據浪潮。在宏觀經濟結構調整和利率逐步市場化的大環境下，目前國內的金融機構主要表現出盈利空間收窄、業務定位亟待調整、核心負債流失等問題。而大數據技術正是能夠幫助金融機構深入挖掘既有數據，找准市場定位，明確資源配置方向，推動業務創新的重要手段。
國務院頒布的《推進普惠金融發展規劃(2016-2020年)》中更是直接提到「鼓勵金融機構運用大數據、雲計算等新興信息技術，打造互聯網金融服務平台。」國內外各金融與類金融機構、互聯網金融企業紛紛開始探索大數據的應用，希望大數據可以帶來技術與應用上的突破，實現現有風控模型體系的升級，探索基於場景化的新消費金融市場，並提升催收效率、建設互聯網深層次大面積獲客能力，從而徹底提升國家金融行業的國際競爭力。
大數據提升科技管理系統升級
「在物聯網產生之前，或者大的感測器產生之前，我們的採集數據來源於訪談、測量或者是記錄在紙上，那個時候我們的數據量比較少，而如今，主要靠科學儀器獲取大量源源不斷產生的數據，數據產生的量非常大，而且復雜度非常高。」正如中國科學院計算機網路信息中心大數據部主任、CODATA中國委員會秘書長黎建輝所言，從手工記錄到儀器採集，大數據正發生著翻天覆地的變化。
在智能汽車研發方面，重要的一項工作就是大數據分析。福特汽車早已把大數據應用到了公司生產的每一個環節裡面，無論是商品的價格、消費者理想的汽車狀態，還是公司應該生產的車型以及這種車型采購的零部件，抑或汽車應有的設計構造，福特汽車已將大數據應用深入骨髓。車聯網時代的到來，讓大數據應用於汽車領域越來越廣泛。
大數據促進政務大數據共享進程
如今，政務大數據共享還沒真正落實，有些政府部門基於風險考慮而不敢將管理數據拿出來與其他部門共享。主要原因是擔心共享會帶來負面影響和不利後果，要麼害怕共享時暴露出本部門原有數據不真實、不精確而問責，要麼認為「數據安全與保密比共享更重要」、採取封閉行為更妥當。
大數據時代的到來，給政府管理變革帶來了新的契機。2015年8月國務院印發《促進大數據發展行動綱要》明確提出「推動政府數據開放共享」;2016年12月國務院通過了《「十三五」國家信息化規劃》，提出要打破各種信息壁壘和「孤島」，推動信息跨部門、跨層級共享共用。如何推動政府部門數據共享，打破信息壁壘和「數據煙囪」，優化政府管理流程和提升協同治理能力，已經成為當務之急。
大數據加速能源產業發展及商業模式創新
能源大數據理念是將電力、石油、燃氣等能源領域數據進行綜合採集、處理、分析與應用的相關技術與思想。不僅是大數據技術在能源領域的深入應用，也是能源生產、消費及相關技術革命與大數據理念的深度融合，將加速推進能源產業發展及商業模式創新。隨著信息化的深入和兩化的深度融合，大數據在石油石化行業應用的前景將越來越廣闊。
大數據與能源行業的結合目前主要體現在三個行業：(1)石油天然氣產業鏈與大數據的結合。在油氣勘探開發的過程中，可以利用大數據分析的方法尋找增長點，利用大數據平台可以幫助煉油廠提高煉化效率，也可幫助下游銷售挖掘消費規律，優化庫存，確定最佳促銷方案。(2)智能電網：利用大數據實時監測技術監測家庭用電量特徵，幫助電力公司調配電力供給，為客戶提供最佳用電方案。(3)風電行業：進行風電場分布式風機的在線監測，周期性及瞬時的實時數據採集和在線分析，生成警報、允許維護人員可視化和管理數據，簡化大規模監測系統的部署。
大數據推動天文學、微生物研究邁入新階段
天文學作為一個典型的大數據應用領域，同樣需要通過標准化和一系列規范實現全球的天文科學數據的共享與交易。為了解決國際上天文大數據的開放、共享以及數據間的操作問題，天文學家提出了虛擬天文台的構想，這是一個通過先進的信息技術將全球范圍內的研究資源無縫透明連接在一起而形成的數據密集型網路化天文研究與科普教育平台。
在談及大數據對天文學方面的貢獻時，中國科學院國家天文台信息與計算中心主任崔辰州表示，探索宇宙的奧秘，大數據正在發揮越來越重要的作用。目前，中科院微生物所正在通過研究和開發雲環境下微生物數據存儲和計算等一系列關鍵技術，形成完善的微生物數字資源體系、知識發現平台和大數據服務平台，建立具有國際影響力的微生物資料庫，實現我國微生物領域數字資源建設的突破。
大數據助推國家健康醫療服務新模式
當前，隨著經濟社會發展和人民生活水平的提高，人民群眾在健康方面的需求更加迫切和多元化，這就為健康產業和醫療服務新模式新業態構造創造了良好的生態條件，健康醫療大數據以其廣泛的應用性和特殊性未來將對經濟發展產生重大貢獻，必將成為我國國民經濟的重要支柱產業。
據悉，6月20日，國家衛生和計劃生育委員會副主任金小桃透露，組建以國有資本為主體的三大健康醫療大數據集團公司主要是為了落實黨中央「沒有全民健康就沒有全面小康」及「推進健康醫療大數據應用」的精神，落實國務院辦公廳47號文件要求，推動國家健康醫療大數據應用發展。這三大集團將以國家隊的形式來承擔國家健康醫療大數據中心、區域中心、應用發展中心和產業園建設任務，努力為提高群眾獲得感、深化醫改新動力和增強經濟發展新動能作出新貢獻。
大數據構建智能交通和推動智慧城市發展
「智能交通」概念的提出，源於日益嚴重的交通擁堵和出行需求的復雜多元化。但是，在交通數據資源充足的情況下，如何才能真正讓數據變「活」 網路地圖的智能路線規劃、實時路況、路況預測是交通數據價值的最佳體現。
6月14日，WGDC2017全球地理信息開發者大會進入到第二天，網路地圖開放平台總經理李志堂、主任架構師張紹文、內容生態總經理劉斌共同出席「空間大數據+智能交通峰會」，從地圖大數據、人工智慧導航、數據內容升維表達等角度闡述了網路地圖在構建智能交通和推動智慧城市發展中的作用。
大數據讓人們的生活更加方便快捷
日常生活中，大數據幫助電商平台打造更極致的用戶體驗，尤其是網購狂歡節，電商由於提前對消費者需求做了充分調研，因此更能抓住消費者的心理，通過大數據優化產品的質量。而方興未艾的智慧旅遊，避免了旅遊旺季各大旅遊景點人數太多從而降低遊客的好感度，特別是網路大數據通過數據分析，及時了解景區內的狀況，幫助遊客合理安排出行、提供智能服務。
而據經濟之聲《天下財經》報道，在今年的亞洲消費電子展上，京東、蘇寧等企業攜大數據與人工智慧，打造智慧物流產業鏈。伴隨著電商行業的迅猛發展，消費型物流需求激增，智慧物流有望成為快遞業下一個重要的突破口。這些都必將在一定程度上改變人們的生活，成為大數據帶給大家最直接的福利。
技術的不斷更新發展，讓數據的價值被重新發現和定義，進而帶來整個社會的變革。如今的大數據行業，正顯示出朝氣蓬勃的生命力，我們在享受這個時代賦予便利的同時，也將對其進行改變與創新。大數據，想說愛你真不容易。

Ⅳ 大數據在企業中的應用

大數據在企業中的應用

2015年9月10日，首席數據官聯盟成立儀式暨第一屆首席數據官大會在北大召開，本次活動由中國新一代IT產業聯盟和易觀智庫聯合主辦，中國新一代IT產業推進聯盟技術分委會秘書長魯四海發表演講並參與對話討論。本次對話環節由易觀智慧院副院長葛涵濤主持，參與對話的嘉賓有北大電子政務研究院副院長楊明剛、殼牌中國CIO徐斌、華為大數據總監劉冬冬、北京瀚思安信科技有限公司聯合創始人董昕。各位嘉賓從大數據在企業的應用、人才隊伍建設等方面進行深入討論，以下是對話實錄：

葛涵濤：首先我想請大家做一下自我介紹。

劉冬冬：今年上半年開始代表華為做大數據生態圈的建設，我們這個生態圈是1+6的模式，華為提供公有雲，大計算等服務，與數據挖掘，商業應用，數據可視化展示等合作夥伴，國內篩選200多家大數據公司，和比較核心的合作夥伴，開始了第一批，第二批，第三批的流程，第一批選擇16家簽約，第二批還有十幾家，今年年底會完成初步50家的合作夥伴的合作。

徐斌：殼牌品牌是比較大的公司，殼牌中國業務比較大，殼牌中國在今年已經是121年了，1894年正式進入中國了，就沒有離開。目前我們在中國的業務有上油的油氣的開采，中油的煉化等業務。大數據在殼牌的應用歷史比較悠久，我們開採油田的時候需要用海量的數據做分析，幫助我們在哪裡打井更有效，如何保證製造環節更順暢，更早的發現潛在的風險，這方面有比較多的應用。針對我們幾百萬的用戶，也在做很多的和社交媒體的合作，掌握我們的客戶，留住我們的客戶，尋找新的商業機會。今天很高興有機會和大家交流大數據，特別是我們傳統行業如何使用大數據。

董昕：謝謝大家，我們是瀚思大數據安全，一個新的創業公司。大家想安全和大數據有什麼關系？其實有非常深的關系，我們後面有機會再和大家講。我們這個團隊是2014年成立的，主要成員是來自於埃森哲、甲骨文等這些公司。我們致力於把大型企業雲中心、互聯網裡面所有跟安全相關的，跟業務、應用安全相關的數據做統一大規模的存儲、挖掘、學習和展現，幫助IT從業者，運維人員，甚至企業的領導層從數據終發現一些跟安全相關的東西。希望通過數據驅動整個行業，和整個企業實現由傳統的基於防禦的安全策略，轉向主動智能的安全策略。我們成立一年多，我們公里56人，40多個人都是研發人員，數學科學家等跟數據相關的人員。非常高興有機會和大家探討比較新的行業。

楊明剛：非常感謝主辦方的邀請，很多朋友可能了解電子政務，電子政務就是政府的信息化，還有所謂的智慧城市，還有數字城市。在過去一年多，一直做政府相關的信息化的應用，包括頂層設計。現在隨著大數據概念的提出以後，應用和需求在過去一直存在，只是提升了一個水平。電子政務這塊近兩三年提上很重要的地位。電子商務對大數據的需求也是蠻多的，過去三四年，我們一直研究政務數據和商業大數據，非常高興和大家探討數據和首席數據官未來在整個企業決策和政策決策中的作用。

葛涵濤：我們的各位嘉賓對大數據，對數據資產進行了前期的描繪和支撐。我們都知道現在大數據產品和數據產品數據來源非常廣，包括來自於智能設備，可穿戴設備，來自於金融，來自於終端設備。有了大量的數據，基於數據進行挖掘和分析，數據產品化以後，再將數據產品應用到業務中。但是這些數據產品安全性怎麼樣？針對數據安全和用戶數據隱私與大數據是什麼關系？

楊明剛：我先從價值方面跟大家分享一下。美國有一本書《數字化生存》目前這個社會，隨著網路的發展，我們所有的網路，所也的社會的形態都可以用數據來表達，這個時候無論是政務數據，還是商業數據，還是個人數據都可以用來提供，或者給我們未來決策提供參考。無論是政府治理，還是企業的科學決策，或者個人未來合理的消費計劃，都可以從數據中提取到相關的決策參考。所以這塊，其實所有的數據，看似雜亂無章，各種非結構數據和結構化的數據，通過適當的方法處理，或者通過數學模型處理，能夠給我們管理和決策帶來新的支持或者更大的支持，這是我對整個目前數字這塊所謂的資產，數據是可以增值的資產。

其實我們有了互聯網以後，每個人在網路上，無論是購物，還是通過社交工具或者社會化媒體發表相關的看法或者思想等，我們在網路上留下了大量的數字的網路痕跡，其實提取這些痕跡，包括相關的特徵，用一定的方法去分析，就可以找尋每個人或者相關的機構未來的表現。這個東西在這裡面，有很多東西涉及到個人隱私，可能在這里買的房子，或者附近相關的消費，根據你的社會屬性可以判斷你未來的行為。從某種行為來說，會讓我自己感覺很不舒服，但是這些信息是通過我們允許的放在網路上，只是相關的機構提取過來做一些加工，可能對個人的隱私或者個人尊嚴是一種挑戰。隨著國家立法的完善，我相信網路的隱私權保護會逐漸解決。

董昕：其實好惡誇張的說，我們在座的每一個人都不安全，在網路空間，無論是你產生的數據，還是你的痕跡，還是你的隱私，或多或少在自己的手機里，PC里，或者是伺服器端，安全和隱私可能是永恆的話題，比較大，我就不展開講了。從我們的角度來說，我們更關注的，從一個角度如何把核心的數據，核心的資產保值增值，安全隱私的問題。無論是大數據下面的數據隱私，數據安全，還是小數據的數據隱私和數據安全方法論是一樣的。在管理制度上怎麼進行保障？

過去談論到數據安全，更多的時候是靠技術手段為主，所以才會出現各種各樣的防火牆，加解密設備，數據防泄漏，防入侵。這些東西都有用，但是無法解決所有的問題。要不然也不會出現JP摩根信用卡數據泄漏等問題。我們需要擁抱新型的技術，新型的平台，通過技術本身解決安全問題。

另外一個國外很多報告中都寫到了，設備本身控制數據資產不太現實，我假設所有的東西都是不安全的，把所有的東西都放一個安全體系，這是國際探討的問題。我們怎麼用新型技術保護數據安全，同時結合技術，如何使安全管理的流程和措施，能夠在企業中獲得更多的認識，從而解決這個問題。

葛涵濤：關於數據能力開放的問題，在之前大數據會議上，阿里集團代表上講過，阿里的數據不開放，他們是不是有數據安全的考量。因為他們收購了高德等一系列的社交和位置的公司，掌握了用戶全維度的數據，這是出於隱私保護，基於安全的數據開放，還是比較遙遠的話題。剛才我們在CDO調研報告裡面，在未來的數據業務和大數據技術方向上，在行業領域裡面的發展是非常重要的，我想請劉冬冬和徐總分別談談，比如說大數據業務，還有數據資產等等相關的技術和服務，在你們相應的通訊和能源行業怎麼與你們的業務結合落地的。

徐斌：像大數據的應用，在我們自己的傳統行業會產生什麼樣的作用？我們自己內部把大數據的企業進行劃分。從企業決策中大數據起了很多的作用，同行用爆破的方式採集信息，幫助我們判斷出這個地方打一口井效率是不是高，因為每一口的井的成本是上百萬的，提高10%的成功率是很可觀的，這是決策支持。

第二個是運營優化，比如說油站地下油庫存在非常大的隱患，汽油和柴油泄漏的時候，一對環境造成很大的風險，第二對地下水有影響，甚至產生爆炸。一旦發生這種情況，通過大數據技術能不能提前發現潛在的泄漏風險。通過對比站的分析，提前發現是否存在不適當的損耗的發生，從而發現風險。

第三個就是市場營銷，在我們消費互聯網層面談了很多，我們怎麼樣找到客戶的特性，延伸業務領域，包括業務合作。另外通過合作，找到我們潛在的客戶。像今天的孫總，我們客戶最典型的，對油品的質量要求比較高。我們從互聯網找到這個維度，在電商上購買率很高的，經常談到汽車的，這兩個碰撞就能找到潛在客戶。

第四個就是企業安全進行風險管控。能源行業是高危行業，包括油品配送過程中，配送的時候出現問題，可能出現爆炸的風險，包括成本的增加。因此我們在海外作業的時候，不能很好及時發現風險，可能造成重大的人身傷害，包括知識產權的保護，有跟多配方，這是很關鍵的，這個怎麼防止黑客攻擊。這個和董總有相關性，企業安全，人身的安全，包括信息安全。

第五是業務創新，第六是模式變革。這兩個把我們傳統的，我們通過賣汽油變成我們可能變成第三方汽車服務後市場。以後我們油品可能免費，免費的意義在於盈利模式通過後面衍生的新業務，就是羊毛出在豬身上狗來買單。這就是大數據在我們能源行業6方面的價值。

葛涵濤：我們原來做過石油遠程管道安全監護。現在俄羅斯他們傳輸的油氣管道，很多油氣管道每隔多少公里就有檢查油壓、溫度，還有油管表面的狀況，加入了很多感測器，獲取管道表面的數據，另外還有相應的機器人，會在軌道上定期巡邏，用光來檢查表面的狀況。將這些數據全部匯總在當地的數據中心，最後匯總到歐洲數據中心，如果正常就顯示為綠色的。大數據幫助能源運輸企業，在你發生問題之前就幫你預測問題即將在什麼時間大概發生。在發生之前進行預警，我覺得這個也是大數據跟商業智能整合的非常好的一個案例。

徐斌：在我們石油行業，特別是化工行業，生產行業一旦有一些事故終止生產，想恢復是非常長的時間，一般是三個月，三個月損失多大。越早預測到危險，提前採取措施，效率是很明顯的。

劉冬冬：我們通訊行業跟石油行業是很像的。我們華為也會裝各種各樣的感測器採集數據，知道什麼地方有什麼問題，然後解決問題。比如說一個大型會場，一個足球場，數萬人，大家都在發微信，這個時候能不能發出去，信號如何？這是我們自身運營商的應用場景。衍生出來的應用場景，如果華為或者運營商更早的把大數據應用到企業的經營管理等等各個維度中去，就不會發生像上海那樣的踩踏事件。當外灘單位面積內聚集的人口超過一定量以後就應該有一個預警，告訴相關的管理部門，公安也好，告訴相關的部門人說這個地方已經超多了，通過手機我們可以捕捉這個信息。我們在大數據行業剛剛起步，我相信將來所有的行業，都會面臨變成以數據為驅動，或者以數據為核心驅動力的，而不是像以前以產品為驅動力，以渠道或者品牌為驅動力的。以數據為驅動力的話，這個問題是蠻大的，作為華為來說，現在從各個方面改為以數據為驅動力。從宏觀來說，我們將要做什麼，我們要做哪些產品，這些都可以通過數據給我們進行指導。

在大數據產品裡面，哪些是最需要的，哪些是最急迫的，我們可以通過分析挖掘出來，這個可以指導我們企業將來做什麼，不做什麼。從很小的細節來說，華為2016年找誰做手機形象代言人，我們可以用大數據做。華為手機的粉絲超過100萬。這些人共同關注的是誰，他們共同興趣愛好是什麼？他們每天什麼時間上網，數據的統計就告訴我們了，不需要決策部門每天坐在一起拍腦袋決定是誰，不是誰。剛才說到數據安全問題，我認為數據安全和技術是矛和盾的問題。現在接受就可以了，當我們現在收到騷擾簡訊垃圾簡訊，為什麼會收到，是因為他們掌握了我們手機信息。當企業掌握了很多的信息以後，這時候就造成可以滿意度的問題，讓數據決定數據安全，讓市場決定技術到什麼程度，自然會有優勝劣汰，服務好的企業就會持續發展，服務部好的企業就會死掉。

葛涵濤：我們對用戶數據掌握的越來越多，我們對數據精準分析越來越多，我們傳遞出來的消息就是精準營銷，傳遞的信息就是有用的信息，而不是垃圾信息。這實際上對我們大數據企業，對技術和演算法提出了更高的要求。如何通過大數據分析方法尋找數據中隱藏的，還沒有被發現的價值和知識。

楊明剛：其實所謂大數據，大價值，大數據應該不是大忽悠，我為什麼這么說？因為我在過去一段時間，有一個地方政府，某一個行業部門在使用大數據，但是建完的大數據系統無法滿足他們的業務需求。我們傳統的大數據，一部分是對現有數據的發現，這就是數據檢索，傳統的數據方法就可以做到，對已知的東西，已知的問題，每個數據單元都是了解的，這時候無論是結構化數據，還是非結構化數據，我們可以帶著問題找到蛛絲馬跡，問題存在什麼地方。另外一部分應該是預測的部分，就像海爾孫總談到的問題，其實可以預測。業務管理專家和業務模型建構專家需要有一個緊密結合。大數據其實是一件奢侈品，對華為這樣的產品，對我們海爾這樣的企業，對殼牌這樣的企業是可以投得起資金的，大數據是奢侈品，但是絕大部分的中小企業也需要科學決策，也需要了解市場需求，這時候面臨很重要的選擇，要面臨高昂的成本建立系統，這是不可能的。但是絕大多數的大數據企業都需要高投資，中小企業怎麼通過在數據時代不被淘汰，需要大數據解決方案提供商，或者需要大數據研究者提供一種更典範的，或者更普世的大數據解決方案，不是依託與傳統的數據檢索，或者傳統的數據包裝實現大數據的方案，而是需要跳出傳統的大數據分析方法之外，能不能有另外一種更科學，更普世的方法，讓我們很多中小企業都能享受到當今的大數據服務，需要我們在座的一起探討。實際上個人也需要大數據服務。

葛涵濤：跟簡單，更方便使用的大數據產品，方便企業減少這方面的預算，讓更多的人使用大數據帶來的便利。

楊明剛：中國的天氣預報部門利用大數據是最好的，把過去一百多年的歷史數據拿過來進行預報。真正的大數據是對未來可能的知識的發現，通過大數據發現潛在的數據之間的關聯。

葛涵濤：實際上我們剛才提到了各個不同的行業和企業對大數據的應用，因為你在北大做了十年CIO方面的培養，你們對CDO這方面的人才培養有什麼樣的動作和支持。

魯四海：我們也在探討，剛才我們在PPT裡面分享，首先為什麼會有這樣的角色存在，驅動力是什麼？然後再說需要什麼楊得技能？我覺得CDO有一部分的東西需要從課堂學習的，偏技術這塊的，能涵蓋技術和基礎管理這塊。CDO需要有一些經濟學的基礎在裡面。大數據更大的是告訴我們未來是什麼樣，告訴我們一些未知的東西。不是提一個假設，拿數據進行分析證明這個假設是對的或者是錯的，這個意義不大。真正的意義能夠告訴你未來是這樣的。我覺得CDO在培養過程當中，除了課堂學習以外，還要跟內部的業務部門進行內部的學習和交流。因為我們面臨著未知的世界，更多的需要廣闊的舞台，像CDO聯盟一樣，未來我們做一些交流性的東西，各個行業，不同行業的方式方法進行跨界整合，因為數據在這個時代就是跨界。

葛涵濤：下面我們請我們在座的各位嘉賓，用簡單的一兩句話展望一下大數據時代下，我們這些數據管理人才，CDO們如何在整個大數據背景下做好我們的工作，能在工作上出新出彩，在我們業務設計上有相應的業務創新。

魯四海：應該說任何一個行業任何一個企業的數據都是資產，每個企業都將擁有將數據變成核心競爭力的能力，這個能力可能是自建也可以購買服務獲得。

楊明剛：大數據應用成為未來決策的核心推動力，今天的大數據不能成為大忽悠。

董昕：我們談了很多技術方面的話題，我覺得一個CDO第一應該有大數據的理念，未來主要的價值都是數據。另外一點，我們認為作為一個CDO，一定要跟我們業務相聯系，懂我們的業務，知道我們的收入從哪裡來，成本在哪裡，效率從哪裡提升，這樣CDO才能落地。

徐斌：數據本身有沒有價值，我個人認為數據是沒有價值的，雖然我今天講了很多大數據。只有當數據能幫助企業產生價值的時候才能成為有價值的資產。我經常說數據資產，每個公司都有大量的數據，他們不是資產，因為它沒有用。數據只有成為有用的信息，成為知識，變成智慧，它才是真正的數據資產。不要神話大數據，大數據產生業務的價值，產生商業的價值才叫大。第二我們企業有CDO，或者有虛擬CDO職位，通過其他的CIO、CMO承擔。最主要的是腳踏實地，循序漸進，如果你不把企業的數據用好，談何大數據。如果企業沒有從數據支持決策的文化，大家做任何事情不用客觀數據幫我們做分析，給你再多的數據也沒用。首先是企業文化。第二把現有的數據用好，然後循序漸進引用更多的數據做分析。通過數據發現未知東西，這是偽命題。因為你發現未知東西，因為你不知道，原因是什麼。當形成智慧知道為什麼會發生，這是我們追求的目的，只不過我們現在不知道，所以通過相關的分析找到了相關性，但是不知道原因。未來當我們有足夠多的知識積累，我們就知道原因了。未知領域是大數據的使用階段。

劉冬冬：大數據這塊沒有找到盈利模式，沒有找到市場，推不動。現在大家找到了盈利模式才推下去了，這才是有用的，大數據有用才是硬道理。對於CDO來說，我認為跨界才是最重要的。不光要有知道企業內部的小數據，同時也要知道外部的數據如何和企業內部的數據相結合。比如說做銷售的，系統能不能很快的告訴員工，這個公司銷售額有多大的產能，以及其他合作公司等等的情況，有價值才是最重要的。

以上是小編為大家分享的關於大數據在企業中的應用的相關內容，更多信息可以關注環球青藤分享更多干貨

Ⅳ 油氣儲運計算機技術應用是什麼

油氣儲運過程中的安全問題，可以藉助當前物聯網、人工智慧、可視化等前沿技術，輔助管理。

將大數據，雲計算，物聯網等先進技術與油氣管道業務相融合，實現異常數據智能化預警、設備 GIS 信息動態展示等功能。從而達到降低運營成本，提高生產效率，減少安全隱患的目的，進而促進管道管理的標准化，規范化和智能化進程。

助力低碳生產：低碳目標下，能源領域的數字化、智能化轉型作用更加凸顯。能源數字化的意義，不僅在於把人從繁重體力勞動中解放出來，對企業還有諸多好處。通過油氣管道數字孿生系統，對運維數據進行實時展示，可以提升管理效率和生產效率，促進綠色低碳轉型。

站場智能管控：西氣東輸站場運維具有多氣源、多用戶、用戶需求種類多的特點，供氣保障難度高，站場管控壓力大。為了降低站場運行風險，提高管網運營效率，基於運行數據，利用強大的渲染能力，搭建的可視化解決方案，形成了集中監視的高效管控模式，實現站場分輸遠程自動控制，推動輸氣管道站場管理智能化轉型，使站場運營管控效率顯著提升。

設備風險智能管控：通過對壓縮機組運行數據進行關聯性分析，建立智能健康感知模型，生成健康狀態量化評估指標。

在數據可視化領域耕耘多年，面向油氣儲運用戶，成功研發出智慧油氣管道可視化管理系統。綜合了物聯網、人工智慧、大數據、通信技術、GIS、可視化等多種技術，對油氣管道運維全生命周期數據進行統一管理與維護，系統涵蓋產量分析、能耗分析、設備運維、安全防護以及廠區監控等板塊。

通過可視化技術實現對日常運維的輔助決策、智能狀態感知、智能數據分析、智能信息發布、智能設備管理、智能業務管理六大功能。2D 面板採用曲線圖、趨勢圖、統計圖等多種圖表，實現分輸量數據、進出站壓力、壓縮機運行狀態、設備完整性、電能波形、綜合流程分析等數據的實時可視化展示。

隨著西氣東輸的不斷推進，我國油氣管道里程數不斷增加，傳統管道運維過程中數據採集人工化、異常報警不及時、設備智能化水平等不斷凸顯。未來Hightopo將繼續堅定不移推進智慧管道的智能化運營體系構建，努力為天然氣與管道行業的高質量發展提供更多有益探索。

Ⅵ 如何充分利用好大數據

就目前而言，幾乎所有行業：醫療保健，製造業，金融業，零售業都在發生數字變化，而且這個名單還在繼續。如果用好大數據可以預測好未來的發展，那麼大家知道不知道如何充分的利用好大數據呢？這就需要建構一個新的結構，以及做好協作工作。

現在人工智慧是很普及的，機器人亦是如此，在不久的將來，隨著銷售和客戶服務的自動化，未來的發展重心將更高的價值放在人與人之間的互動上，當然，人們還會保持對提出服務的期望。這樣才能夠讓自己的需求得到充分的滿足。如果利用分析的強大功能去進行大數據分析，那麼企業將能夠對這些海量數據進行分析並分類，機器就會以驚人的速度從中學習。這樣就能夠獲得極佳的發展方向。從而推動科技的發展。

用好大數據必須建構一個新結構
大數據的分析需要一個新的結構，雖然公司將擁有了比以往更多的數據，但是要想進行大數據的分析，就需要重新考慮企業的結構，現如今，隨著公司適應技術不斷變化，轉型的速度將推動現代企業模式的發展。企業必須開始以反向思維的方式運轉，不能夠繼續使用新的企業結構。
當然，企業還應該培養分析文化，這是最重要的一件事情，企業培養分析文化就需要舍棄傳統的決策層次結構。這句是要求企業中的每個人都能夠做出基於事實的決策的能力。如果詢問一線員工，包括銷售人員和生產車間員工，他們使用哪些數據做出決策。通過這些問題才能夠讓未來的發展路線變得更加通透。
對於那些扁平化企業結構並消除決策障礙的公司將變得更加敏捷，因此使得這類公司更具有競爭力。我們需要全面拆除企業結構中的某些局部結構，這種轉變能夠使企業運作發生了巨大變化。使得企業有一個比較民主的氛圍。

大數據的適應需要做好協作工作
傳統的層次是公司的常態，但是並不是公司必須改變的唯一方面。對於扁平化的企業結構需要合作水平必須提高，必須培養共享協作的文化。這樣才能夠讓公司更具有凝聚力。企業還應選擇具有多學科背景的管理工作人員，並要求他們查看不相關的業務並借鑒想法。這將有助於鼓勵合作並吸收新的和創新的想法。
要想發展這種文化的作用，需要確定如何平衡個人貢獻與團隊合作。如果每個團隊成員沒有平等的貢獻，那麼過於緊密地合作可能會導致個人的靈感流失。就個人而言，專業人士需要在個人安靜的時間來完成工作。考慮到這些要素，理想的企業模式將能夠加快決策速度，減少層級的監督，並產生一種重視個人貢獻的協作工作環境。這樣才能夠讓人們更加團結。
看完上述的內容，想必大家已經知道了如何充分利用好大數據了吧，大數據的使用需要建構一個新結構和做好協作工作，這樣才能夠充分使用大數據，才能夠對未來做好精準預測。

Ⅶ 大數據+分析學 數字油田的兩把利劍

大數據+分析學 數字油田的兩把利劍
在石油和天然氣行業，數據都是以太位元組(TB)和拍位元組(PB)來表示的。這兩個詞語對於你來說或許有些陌生，下面我給你打個比方，一切就清晰明了了。
一個吉位元組(GB)相當於七分鍾的高清視頻;一個太位元組(TB)等於1024個吉位元組(GB);而一個拍位元組(PB)等於1024個太位元組(TB)，相當於13.3年同樣的高清視頻。
每天全球油氣行業都會產生數百個太位元組(TB)的數據，每年總計達一個拍位元組(PB)數據，也就是13.3年的高清視頻了。在這里舉個例子，在北美1200英里的管道里每天都會產生大約1TB數據。
把這些數據轉化為可用的信息的學科稱為分析學，它將成為油氣行業削減成本方面的新前沿學科。
2014年2月，美國通用電氣公司(GE)軟體研究院副總裁Bill Ruh在卡爾加里舉行的「通用電氣公司Mind + Machines」研討會上說：「任何事情都可以進行分析」。
分析基本上是在大量的數據中尋找有意義的模型，它運用數學、統計學、計算機編程和操作等方面的知識將問題性能進行量化分析。
在分析數據時發現的模型可以用來預測未來的資產設備表現，以確定設備性能可以提高的范圍，同時可以通過識別故障區域在故障發生前制定風險管理計劃。
Ruh說：其他工業部門已經使用分析學方法來提高生產力從而降低成本。通用電氣公司在電力行業中已經取得了成功，運用分析法來優化風力發電機的電力生產。通用電氣公司改變了風力發電機組安裝前使用計算機建模的傳統方法。
「我們想，如果將歷史數據進行優化會怎樣?這意味著要對風力發電機產生的數據進行解析並應用這些信息。這一結果增加了5%的電力輸出和20%的利潤，而風力發電機組並沒有發生任何物理變化。」
Ruh表示：作為快消品的手機產業壓縮了數字感測器技術的成本，網路連接的低成本完全可以使所有油田設備聯網，分析現成的數據流。通用電氣公司認為通過數據分析油氣行業可以提高設備的可靠性和利用率，從而提高運營效率。
Ruh 表示，「你可以從零停機、零差錯中賺取很多錢，畢竟油氣行業一旦發生維修狀況造成的損失將是巨大的。」
通用電氣公司油氣軟體服務部門總經理Ashley Haynes Gaspar說：「使用分析學方法最大的好處是優化處理了整個油氣項目，而油氣項目得到優化是最重要的，我們相信，利用分析學你能更有效率地從地球上采出更多的石油，在油氣行業中將增長6%-8%的潛在產出。」
最近，信息技術供應商已經嘗試對油氣行業進行數據分析並找到解決方案，但目前還沒有成功。目前的計算公式是在手機中常見的，基於應用系統進行模擬並將其分解成可管理的部分。
自通用電氣公司在加拿大工業推動數字油田的六個月以來，出現了一系列成功基於app的方法。其中一個例子是Apache公司正努力提高電潛泵性能的操作。
Apache公司在北美和世界各地有成千上萬的電潛泵。由於進行了實時監控，德克薩斯基地公司已經收集了大量的電潛泵性能數據、地下岩層特徵和地質信息。
Apache公司與通用電氣公司合作分析了這些數據，針對不同油井選擇不同的電潛泵，然後提高泵的運行時間並成功預測這些泵的使用壽命。
這一系列工作有助於Apache公司避免重大的生產損失，其中最大的好處是可以將此成功經驗快速復制至整個行業。
據該公司稱，全球電潛泵性能提高1%後，將額外提供超過50萬桶/天的原油。即使在油價如此低的今天，這也相當於每年會額外產生數十億美元的效益。
Apache公司的成功來自於對硬體和軟體的充分利用，一般被稱為資產性能管理(APM)。實時監控器將一連串數據傳輸到中央設備，在那裡他們被相應的大數據分析軟體處理，然後找出最優方案。
通用電氣公司油氣測控加拿大區總經理Orvil Smith 說：「通過我們與客戶所做的工作發現，大數據分析是有所作為的。在以往，當一個電潛泵失靈時，企業將花費很長時間才能使油井恢復生產。」
但如果你能在設備失靈前就預見到這個問題，就會知道什麼時候該把它停下來並更換上提前准備好的新部件，這樣就可以避免長時間停機帶來的損失。

Ⅷ 站在「大數據」的台風口，石油行業能起飛嗎三分鍾帶你全面了解

加大油氣勘探開發力度、保障國家能源安全是當前面臨的迫切任務。但隨著優質資源的不斷開發，剩餘資源開采難度越來越大，成本越來越高，迫切需要創新技術提升油氣勘探開發效率和效益。在大數據、人工智慧( artificial intelligence，AI)、5G、雲計算、物聯網等技術推動下，油氣田的智能化水平將會越來越高，這既是油田降本提質增效的有效途徑，也是油氣技術發展規律的必然趨勢。

1、大數據技術定義

2012年興起的「大數據」潮流，讓「Big Data」這個IT圈子裡的名詞一下風靡了各個行業。雖然大數據的重要性得到了大家的一致認同，但是對大數據的理解卻眾說紛紜。大數據是一個抽象的概念，除去數據量龐大這一特徵，大數據還有一些其他的特徵，這些特徵決定了大數據與「海量數據」和「非常大的數據」這些概念之間的不同。

高德納分析員Doug Laney曾於2001年在一次演講中指出，數據增長有3個方向的挑戰：數量（volume），即數據多少；速度（velocity），即資料輸入、輸出的速度；種類（variety），即多樣性，這3方面的特徵即大數據最先提出的3V模型。2011年，在國際數據公司（IDC）發布的報告中，大數據被定義為：「大數據技術描述了新一代的技術和架構體系，通過高速採集、發現或分析，提取各種各樣的大量數據的經濟價值。」大數據的特點可以總結為4個V，即volume（體量浩大）、variety（模態繁多）、velocity（生成快速）和value（價值巨大但密度很低）。這種4V定義得到了更廣泛的認同，指出了大數據最為核心的問題，就是如何從規模巨大、種類繁多、生成快速的數據集中挖掘價值。

2、大數據技術的發展

大數據是人工智慧的血液，當前大數據、雲計算、人工智慧以及區塊鏈技術之間的關系密不可分，也被稱作數據智能。比如，先進的工業互聯網，其中既有區塊鏈技術也有大數據技術，還有雲計算技術，三者合成一體，又衍生出了人工智慧和物聯網的概念。

在大數據基礎上的人工智慧，目前已進入數據智能的深度學習時代，其快速發展引起了 社會 和產業的顛覆性變化。從大數據和人工智慧技術全行業的發展來看，目前美國仍處於領先地位，中國緊隨其後，且具有趕超趨勢。中國在人工智慧相關的論文發表總數和高引論文數量實現對美國的超越，但在人工智慧理論發展和技術方向的引領方面美國還占據支配地位。

3、大數據技術流程

大數據處理的關鍵技術流程主要包括：數據採集、數據預處理（數據清理、數據集成、數據變換等）、海量數據存儲、數據分析及挖掘、數據的呈現與應用（數據可視化、數據安全與隱私等）。

4、大數據的核心演算法

大數據的核心演算法可以分為監督學習（有標簽）和無監督學習（無標簽）兩大類，其中：

監督學習分為回歸和分類：即給定一個樣本特徵，希望預測其對應的屬性值，如果是離散的，那麼這就是一個分類問題，反之，如果是連續的實數，這就是一個回歸問題。無論是分類還是回歸，都是想建立一個預測模型，給定一個輸入，可以得到一個輸出。不同的只是在分類問題中，是離散的；而在回歸問題中是連續的。

無監督學習分為聚類和降維：即如果給定一組樣本特徵，我們沒有對應的屬性值，而是想發掘這組樣本在維空間的分布，比如分析哪些樣本靠的更近，哪些樣本之間離得很遠，這就是屬於聚類問題。如果我們想用維數更低的子空間來表示原來高維的特徵空間，那麼這就是降維問題。聚類也是分析樣本的屬性，事先不知道樣本的屬性范圍，只能憑借樣本在特徵空間的分布來分析樣本的屬性。這種問題一般更復雜。而常用的演算法包括 k-means （K-均值），GMM（高斯混合模型）等。

5、大數據在油氣勘探開發領域的應用

目前大數據技術在地質分析、測井解釋、地震解釋、甜點預測、地質建模、油藏模擬、鑽井、壓裂、採油、產能預測等方面均開展了大量 探索 性研究，收到了良好的效果。但是目前，大數據與油氣行業相關領域的融合還處於起步階段，面臨來自數據、演算法和地下未知因素的諸多挑戰。未來在大數據、人工智慧、5G、雲計算、物聯網等技術推動下，油氣田的智能化水平將會快速發展，這既是油氣技術發展規律的必然趨勢，也是油田降本提質增效的有效途徑。在發展的過程中，智能油氣田建設需要油氣勘探開發與大數據、人工智慧、雲計算以及區塊鏈等技術的深度融合，進而催生一批油氣田領域的顛覆性技術，解決油氣勘探開發的技術需求，提升油氣田勘探開發的經濟和 社會 效益。

（ 下期將向您詳細解讀大數據在油氣行業的具體應用 ）。

註：本文部分參考資料來源如下：

李陽，廉培慶，薛兆傑，等．大數據及人工智慧在油氣田開發中的應用現狀及展望[J]．中國石油大學學報(自然科學版)，2020，44(4):1-11

Gantz J，Reinsel D.Extracting Value from Chaos. IDC iView Report，2011

Team O R. Big Data Now：Current Perspectives from O』Reilly Radar.Sebastopol：O』Reilly Media，2014

Grobelnik M. Big data tutorial. http：//videolectures.net/eswc2015grobelnik big data/，2012

Walters, R. J., Zoback, M. D., Baker, J. W. 2015. Characterizing and Responding to Seismic Risk Associated With Earthquakes Potentially Triggered by Fluid Disposal and Hydraulic Fracturing. Seismol. Res. Lett. 86 (4): 1–9. https:// doi.org/10.1785/0220150048.

周松蘭．中美歐日韓人工智慧技術差距測度與比較研究[J]．華南理工大學學報 ( 社會 科學版)，2020，22(2):10-22．

HINTON G E，OSINDERO S，TEH Y W．A fast learning algorithm for deep belief nets[J]．Neural Computation，2016，18: 1527-1554．

LECUN Y，BOTTOU L，BENGIO Y，et al．Gradientbased learning applied to document recognition[J]．Proceedings of IEEE，1988，86( 11) : 2278-2324．

BENGIO Y， SIMARD P，FRASCONI P．Learning longterm dependencies with gradient descent is difficult[J]．IEEE Transactions on Neural Networks，1994，5(2) :157-166