航運大數據革命一觸即發

『壹』 大數據時代的航運創新

大數據時代的航運創新

當下的航運窘境，或許可在大數據、互聯網技術、可再生能源和3D列印等領域的發展浪潮中，從運營模式、戰略發展和技術標准等方面進行改革創新

當前，航運業正處於重新洗牌、再次組合的過程，航運市場面臨運力嚴重過剩、價格持續低迷的困境，傳統的手段與方法已無力幫助航運企業擺脫困局。如何才能使航運企業從現階段的窘況中脫離出來，已經成為航運界共同的難題。

與此同時，大數據、互聯網技術、可再生能源和3D列印等領域的新發展對航運業的運營模式、戰略發展和技術標准都將帶來深遠影響。

大數據的驅動力

毫無疑問，當下世界是一個被數據包圍的世界。航運經營自然也會產生很多數據，所有的數據都是相關的，如何處理、利用這些數據成為挑戰。

DNV GL執行副總裁、海事咨詢總監Albrecht Grell表示：「我們要問的一個問題就是航運數據從哪裡來，怎樣對這些數據進行認知，看到數據背後真正的含義。」一艘營運中的船舶，24小時內通常會生成高達20GB的數據信息，這些信息內容繁多，涉及天氣、發動機、航行位置、速度到燃油消耗等，數據量大、散亂、周期短。確保數據的獲得是進行精確分析的第一步，將這些數據進行整合是第二步，這些數據與外部數據如AIS、天氣等的結合分析，就可能得出有意義的結論。

DNV GL副總裁、DNV GL大中國區主席、DNV GL 海事公司大中國區總經理Torgeir Sterri表示，數字化是航運發展的驅動力之一，這個驅動力本身就是一項技術。大數據驅動的數字化將使遙感器可實時接受各式各樣的結構化和非結構化的數據，且這些數據的來源確定性越來越強。他進一步指出，更智能的數字網路，除了促進科技的應用，在航運業，可以模擬所有船舶周期的現狀。DNV GL利用大數據，開發船隊績效監測系統，在增進營運透明度的同時提高了營運效率。

英國勞氏船級社北亞地區船舶業務總裁Jim Smith表示，英國勞氏船級社將把大數據和有效數據應用於未來業務和技術的戰略計劃中。「1760年開始，我們的工作中就充滿了數據，包括入級的每艘船舶的全壽命周期內的所有相關信息。若能獲得一艘船舶的核心數據，通過集中分析設計、表現、天氣、路線、貨物和法規數據相關信息，則可以尋找到最佳航線，便於船舶更高效經濟地行駛到指定港口。智能船舶將從根本上改變海運業的業務模式。」

究竟什麼是智能船舶呢?中國船級社副總工兼規范與技術中心總經理陳實表示，智能船舶體現在六個方面：一是智能航行。主要是自動航行優化，通過對海況、物流等相關參數的優化，在滿足航運周期和安全的情況下，使航運成本降到最低。目前這一技術已較成熟，進一步發展會形成自主航行。二是智能船體。主要指對船體進行全生命周期的管理，包括建立船體資料庫，以及結構強度和性能的資料庫，為船舶的維修提供決策，如通過資料庫預先制定維修計劃。應急服務可以提供輔助決策，確保安全。三是智能機艙。基於設備和系統監測為機艙提供輔助決策，高級發展階段是對機艙設備提供視情維修，大幅度節省維修成本和周期。四是智能能效管理。通過能耗檢測、分析與報告，為能效優化輔助決策。五是智能貨物控制。從最佳配載以及基於對貨物的監測來輔助決策，確保貨物安全。六是智能系統集成。通過對大數據的分析和處理，形成集中控制，一個平台一個網路來集中控制。

日本船級社會長兼總裁 Noboru Ueda也分享了大數據在行業里的應用。他表示，由Napa和日本船級社2012年完成的Napa—GREEN監控系統已經在很多船舶上應用，可以提高燃料效率，計算出最佳吃水與船速，從而提高船舶運營效率，有效分析船舶運行情況，精確率達99.6%。「使用珍貴的數據，是我們在大數據時代邁出令人興奮的一步。」

SAP大中華區售前總經理李旭東則認為，數字化是一個漸進的過程，從信息系統建設角度講，不是簡單替換，也不是一味追求數量多而不適的功能。在解決現有問題的同時，要考慮明天可能面臨的挑戰，並找到應對之策。「我們的責任是解決信息的互聯互通，幫助船東更好地實現與貨主、收貨人等利益相關方的互聯互通。我們重新定義了在互聯互通的情況下，一個數字化企業支撐其成功運行的信息系統理想模式。與以往相比，產業相關方的合作、聯系要比以往更密切，對信息系統的要求也與以前不同，需要合適的系統幫助企業實現這種不同。」

對接與融合「互聯網+」

航運業已經無法迴避即將到來的智能化工業革命浪潮，也無法斷開與信息網路的深層次對接與合作。工業4.0給市場帶來了高效的生產效率，也給各行各業帶來了發展機遇。它既涉及傳統的互聯網，還涉及正在發展的物聯網，這是一次基於虛實融合的工業革命。這對航運業朝著全面智能加快轉型升級起到了助推作用，通過對雲計算、大數據的運用，提升航運服務、管理、節能、運營的效率和能級。

如何藉助工業4.0之東風，實現航運業自身發展的蛻變，中外運航運董事長李甄認為主要有四個方面。

一是服務定製。工業4.0帶來的智能化水平可幫助航運企業實現定製化服務。通過引入應用電子標簽功能的信息化系統，一方面，電子標簽記錄著航運企業實時更新的每艘船舶的運行狀態、航線位置等點狀定製信息;另一方面，客戶可以在定位識別系統的幫助下，根據自身的服務需求自動識別讀取電子標簽所攜帶的相關信息，向航運企業提出定製化服務的請求，航運企業在收到請求後自動協調安排相關運輸任務。

二是智能管理。利用雲計算、大數據等智能化手段，集成信息挖掘、遠程監控、實時預警及預測分析，推進智能化管理，提高設備運行效率。例如：通過智能機器人，實時評估船舶設備的運行狀態，最大可能地預知設備故障與操作失誤，加強管控預控措施，全面實現船舶管理的智能化。同時，機器人的逐步推廣也可以應用到一些基本船員的工作上，在提高效率的基礎上，使管理的精細化水平得到進一步加強。此外，通過智能化與系統化的管理，既為航運企業積累先進的管理經驗，又提高管理人員的綜合業務技能，為後續的深化發展夯實基礎。

三是節能環保。節能減排是順應當今世界發展潮流的戰略舉措，已成為世界人民的共識。隨著工業4.0引發的技術革命，在航運業逐步推廣與應用環保節能新興技術，通過船岸之間現代化網路，實時調整船舶設備工況、自動優化吃水、採用經濟航速，使之有效降低船舶營運成本、最大程度地減少排放。目前，世界大型航運企業大多對新造船舶進行了LNG准備裝置，有的已經投入實際使用，相信不久的將來，新能源及新能源使用裝置將會得到廣泛的推廣和運用。

四是優化運營。在實際營運過程中，航線設計和運營組織的合理與否直接影響著航運企業的經濟效益。通過建立智能系統，根據船舶航線途徑的航道水深、洋流海況以及天氣特點等外部環境信息，自動進行提煉對比、分析判斷，設計出最合理、經濟的航行路徑，確定最理想的積配載方案，制定出效益最佳的運營組織計劃。由於工業技術的突飛猛進以及北極冰層的逐步消退，北極航線已成為可能，加上北極航線所具備的獨特地緣條件與戰略意義，北極航線已成為各國航運企業爭相開發的焦點，這也為我們進一步優化運營拓展了空間。

除了航運業，對於航運服務業而言，同樣離不開「互聯網+」。廣州仲裁委員會主任、中國仲裁法學會副會長陳忠謙表示，仲裁及時加上互聯網的元素，也就是線上和線下裁案。在線上這個仲裁平台里，通過線上交資料、數據認證進行辦案，如仲裁管理、案件管理、電子檔案形成、網路視頻庭審系統，確保數據的安全性;研究與法院以及航運部門、航運企業的網路對接，在網上備案和受理、答辯，組成仲裁廳、開庭、作出裁決等，在線上解決解紛。

中國船級社總裁孫立成表示，可再生能源對傳統化石能源的替代，3D列印引致的規模經濟效應減弱和滿足客戶需求的本地化生產趨勢加強，致使部分產業門類將由全球分工變為區域分工，由全球生產變為本地生產，沿海運輸替代部分遠洋運輸，海運運距縮短，以及新一代信息技術與船舶製造的深度融合都將引發影響深遠的產業變革，形成新的生產方式、產業形態、商業模式和經濟增長點。

航運業創新路徑

處於瞬息萬變的數字時代，航運業該如何創新發展?交通運輸部水運科學研究院副院長賈大山認為，當前海運市場進入了新一輪的漫長調整，諸多政策提供了強有力的戰略支持。「要注重調整船隊功能結構，分類制定經濟政策。如國家安全船隊、經濟安全船隊、商業運輸船隊，以不同的定位來制定相應的政策。」

從企業層面而言，賈大山認為要優化海運資本結構，推進混合所有制改革。「中國航運業有國有和民營資本兩類運營平台，功能性角度主要通過國有資本運營平台完成，商業性船隊則可通過國有和民營資本運營平台共同完成。」

從產業鏈融合角度出發，賈大山認為要構築海運產業鏈，推進協同發展。加強與金融企業的溝通，加強融資能力，加強造船、海運和貨主企業的合作。

從融資角度而言，賈大山認為，對於海運相關的融資政策、企業海運所得稅的問題，還需進一步探索解決，與國際接軌，讓中國海運企業與國際海運企業在同一市場進行公平競爭。

上海海事大學校長黃有方認為，航運企業要進行「航運+供應鏈」的戰略思考。「實施『航運+物流』戰略，僅做航運不夠，要知道做全程物流。『航運業+貿易』戰略，要更好地關注航運業與貿易的戰略結合。『航運+金融』戰略，航運業要有話語權，並維系好供應鏈關系，金融能力很重要，『航運+信息』戰略也是如此。總之，期望航運企業高度重視與物流、貿易、金融、信息的結合，充分認識到研究供應鏈就是研究信息流、物流、商品流和現金流，『航運+供應鏈』戰略的轉型和創新是未來航運取勝之道。」

中遠集團總經理李雲鵬表示，當前，世界經濟步入深度調整期，出現了很多不同以往的新特點：區域經濟不平衡加劇、國際資本流動性加快、金融市場動盪加強、大宗商品價格深度回落、新興經濟體持續減速等。這些來自宏觀經濟方面的壓力會立竿見影地體現在航運業上，導致運力過剩、運價低迷、無序競爭、慘淡經營等。「低位運行的狀態將會持續相當長的時間。所以航運企業想實現突破性發展，將面臨革命性的變革。」

航運企業內生型增長將成為必然。李雲鵬認為，航運企業未來的成長空間，更多要依靠自身能力和資源的提升利用，要實現增長動力由外到內的轉變，通過調整業務結構、客戶結構、組織架構、運營機制，不斷增強對外部市場需求的適應能力和對外界不利環境的免疫力。未來航運企業的發展，要通過培育「內生型」增長動力，提高自身經營能力、管理水平、服務質量、運營效率和成本優勢來實現。具體實現路徑，一是要有流程再造能力，即改變航運經營傳統流程，提高重新設計、組合內部資源的能力，優化航線設計、服務流程;二是提高市場布局能力，特別是體現經營能力的業務網路布局與區域經濟的匹配度，在當前區域經濟不平衡的環境下更是如此，這實際是對航運企業捕捉市場機遇能力的要求，要由以往「依賴」市場轉向「駕馭」市場;三是有產業鏈延伸能力，實現與航運相關產業的有效嫁接，通過產業上中下游的有機關聯，對沖航運業的既定風險。

產業集群之間的競爭將成為主流。李雲鵬認為，僅僅靠航運企業內部資源的優化配置，已越來越難滿足客戶的需求，包括船東、船貨之間的合作形式都可能遠遠不夠。未來航運市場上船東、船貨之間的競爭模式，將被集群對集群的競爭模式所取代，因此如何構建產業集群將成為航運企業資源配置的重大戰略目標。產業集群在規模、層次、組合方面可能呈現出多樣性，一旦形成，將成為航運企業價值創造的主體模式。從構建路徑來看，要以現有的船貨合作、聯盟聯營為出發點，以新技術為推手，吸引行業領先的利益相關方，形成航運及相關產業的集群。如船東、貨主、物流、貿易、金融、IT、電商平台等企業，可能共同構成一個產業集群，共享資源、共創價值、綁定利益，形成完整的航運產業生態圈。當市場上出現多個這樣的產業集群之時，市場競爭的格局就會發生革命性變革。

全程解決方案將成為利器。李雲鵬認為，企業的成長過程，也就是為客戶創造價值的過程，為客戶提供海運服務，是航運企業傳統的價值創造方式。但客戶的最終需求不僅僅存在於海運環節，而是涉及陸上運輸、港口、倉儲、信息、安全等各個方面，客戶的最終需求是「打通最後一公里」、「門到門」、「安全保質」的全程解決方案。跨境物流的興起與「在線需求」的爆發正在重新定義很多傳統行業，在跨界整合正令傳統行業界限愈發模糊的趨勢下，今後，提供「全程解決方案」的能力必將成為航運企業賴以生存的核心競爭力。真正的「全程解決方案」需要兩個因素：一是對客戶的態度;二是提供服務的能力。

以上是小編為大家分享的關於大數據時代的航運創新的相關內容，更多信息可以關注環球青藤分享更多干貨

『貳』 什麼是大數據。。大數據是什麼

大數據，IT行業術語，是指無法在一定時間范圍內用常規軟體工具進行捕捉、管理內和處理的數據集合，容是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中大數據指不用隨機分析法（抽樣調查）這樣捷徑，而採用所有數據進行分析處理。

大數據的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。



(2)航運大數據革命一觸即發擴展閱讀：
大數據包括結構化、半結構化和非結構化數據，非結構化數據越來越成為數據的主要部分。

據IDC的調查報告顯示：企業中80%的數據都是非結構化數據，這些數據每年都按指數增長60%。

大數據就是互聯網發展到現今階段的一種表象或特徵而已，沒有必要神話它或對它保持敬畏之心，在以雲計算為代表的技術創新大幕的襯托下，這些原本看起來很難收集和使用的數據開始容易被利用起來了。

『叄』 大數據未來發展趨勢怎麼樣

大數據也有線上線下之分了，線上大數據公司像大家都知道的科大訊飛、極光大版數據、talkingdata、dataeye、trustdata等等，已經權發展的比較完善了，我更看好未來10年線下大數據的發展，像18年成立的WakeData惟客數據、眾盟等等，截止目前還沒有一家獨角獸級別的線下大數據企業。

『肆』 互聯網巨頭掘金大數據 大數據市場一觸即發

互聯網巨頭掘金大數據 大數據市場一觸即發

互聯網遍布人們生活的當下，每人每天都會在網路中產生大量數據，這正成為眾多互聯網企業眼中新的掘金之地。

10月15日，在西安互聯網+大數據峰會上，記者了解到，包括中國電信、網路、滴滴在內的眾互聯網巨頭已從日漸成熟的大數據市場中看到蓬勃商機，並開始加速布局。

掘金大數據

網路是最早進行大數據商業化和產品化嘗試的互聯網企業，據網路大數據部高級產品設計師辛廣蓉介紹，其大數據部成立近兩年時間里，人員已增長近一倍，目前近400人，開發的標准大數據產品有十個左右，其三級開放平台包括網路大腦、數據工廠和開放雲，其計劃中的戰略是將大數據應用推廣至3600個垂直行業。

「業務量很大，每天收到的大數據相關郵件超過100封，現在我們幾千個重點客戶都在使用大數據但代理商那邊還沒有開始，所以未來增長空間很大。」

據了解，目前大數據生態圈已格局初具，主要由基礎設備提供商、數據能力與產品提供商、業務應用與融合服務提供商構成，中國電信也在近期啟動了大數據項目的試點，據中國電信陝西信產公司渠道及銷售拓展部主任何子明介紹，中國電信目前已經形成了風險防控、精準營銷、咨詢報告、區域洞察四個系列13個種類的大數據產品。

「大數據資源的積累各有側重，各大企業也自有定位，比如阿里側重電商、騰訊是社交、網路是主動探索，而電信是擁有全程系統的端到端大數據」，何子明稱，中國電信陝西信產公司是電信集團首批大數據試點機構和核心企業，全程參與了全部大數據產品的規劃和設計。

像滴滴公司這樣的大數據資源巨頭雖然尚未進行對外的商業化，但也箭在弦上。據滴滴出行北方區總經理常湘介紹，滴滴內部的各項服務和業務都得益於其擁有的世界領先大數據平台驅動。「滴滴、快遞合並前的市場大戰中，如果說滴滴能有一些優勢的話主要就體現在智能化大數據平台上，這個平台讓滴滴用戶一旦用了快滴馬上會捕捉到並啟動返券、線下沙龍等措施一個月內把用戶拉回來」，常湘稱。

企業互聯網化浪潮

「互聯網是管道，大數據是流淌在裡面的價值流，雲計算是對其進行處理的方法，三者的結合就是互聯網的未來，而對於企業來說，其最大的未來是進行互聯網化，我們過去5年就服務了近22萬家企業說明現在這個觀點認可已經很廣泛，接下來幾年抓不住這個浪潮的企業日後就很難追趕和跟隨，甚至可能被邊緣化。」西安互動未來信息技術有限公司CEO王維搏對此分析道。

作為資深互聯網應用與融合服務提供商，王維搏認為大數據正快速形成一個越來越龐大的生態系統，近年來互聯網巨頭們紛紛押注大數據和雲計算，試圖挖掘政府、金融、電商等行業的相關需求，現在，這一努力已經在包括大量傳統行業在內的更廣領域全面展開。

目前，大數據的商業價值已經在企業中獲得了廣泛的認可。數據顯示，去年我國大數據市場約6億元人民幣，增長率近50%，未來隨著越來越多的大數據分析平台和工具的廣泛應用，其潛在商業價值將會被進一步釋放並獲得企業認可。

但企業重構互聯網基因也是一個專業而復雜的過程，需要進行重新定位，互聯網化價值鏈重塑、互聯網全平台建設和全網整合等。「未來5年是新秩序的建成期，這期間如果說有最大的風口我認為就是傳統產業、傳統企業的互聯網化，但對於許多企業來說，現在剩下的窗口時間已經不多了。」

以上是小編為大家分享的關於互聯網巨頭掘金大數據 大數據市場一觸即發的相關內容，更多信息可以關注環球青藤分享更多干貨

『伍』 英國開啟大數據時代

英國開啟大數據時代

在英國，大數據早已不僅僅是一個停留在科學論壇上被熱議的新名詞，越來越多的政府投入、已經運營的高校大數據研究中心、不斷涌現的商業運作成果，明確地展現出英國正在開啟一個新的大數據科技時代。

政府將大數據作為「新經濟增長點」

近年來，英國經濟持續低迷，疲軟的經濟狀況使得政府部門的財政支出捉襟見肘。就在這樣嚴峻的財政背景下，英國政府更加渴望通過扶持新興高科技技術發展，來增強國家在國際競爭中的科技硬實力，創造新的科技領先領域和經濟增長點，從而帶動整個經濟發展。

大數據概念的提出正好符合英國政府現階段的國家戰略規劃，給了英國一個帶動新一代科技革命的抓手。英國大學與科學國務大臣的戴維·威利茨認為，政府加大對大數據技術的前期投資，將有助於保證大數據在科研領域的發展，構建數據分析系統和人才梯隊，由此吸引民間資本的投資跟進，推進其在商業、農業等領域的積極應用，從而占據大數據時代的有利位置。

英國政府的大數據戰略不僅僅是口號，更落實在行動上。2013年，英國政府投資1.89億英鎊發展大數據技術。今年，英國政府又拿出7300萬英鎊投入大數據技術的開發。包括：在55個政府數據分析項目中展開大數據技術的應用；以高等學府為依託投資興辦大數據研究中心；積極帶動牛津大學、倫敦大學等著名高校開設以大數據為核心業務的專業等。

與此同時，英國政府建立了有「英國數據銀行」之稱的data.gov.uk網站，通過這個公開平台發布政府的公開政務信息。這個平台的創建給公眾提供了一個方便進行檢索、調用、驗證政府數據信息的官方出口。同時英國人還可以在這個平台上對政府的財政政策、開支方案提出意見建議。英國甚至渴望通過完全公布政府數據，去進一步支持和開發大數據技術在科技、商業、農業等領域的發展，扶持相關企業進行創新和研發，找出新的經濟增長點來刺激本國經濟的發展。

英國政府近年來通過大數據技術，在公開平台上發布各層級數據資源，並通過高效率地使用這些數據提高政府部門的工作效率，刺激其他機構在數據獲取和使用上的積極性，直接或間接為英國增加了近490億至660億英鎊的收入。英國政府預測，到2017年，大數據技術可以為英國提供5.8萬個新的工作崗位，並直接或間接帶來2160億英鎊的經濟增長。大數據的出現極大地促進了政府與相關公共機構工作方式的轉變，推動了大數據相關產業鏈的研究和發展。在商業上有更多的可以藉助其技術進行開發的新的產品類型與市場形式，進一步開放了企業的創新能力和競爭力。

大數據應用改變傳統商業模式

大數據能夠用來創造價值是因為，在當今社會中，依靠相關政經數據分析所得出的報告越來越多地成為高層管理者進行決策的重要參考。看似比「經驗主義」更加科學客觀的各類經濟報表和技術報告，已經成為各類研究機構向決策者提供建議的重要手段，而大數據技術正好迎合了這樣的需求。

在英國的零售業，這一轉變表現得尤為突出。英國著名的大型連鎖超市Texco在其營銷系統內通過顧客的購物內容、刷卡金額等消費明細數據和利用調查問卷、客服回訪等售後服務行為對每一位顧客的相關購物信息進行數據採集和整理加工。然後藉助計算機和相關數學模型，對所獲得的海量數據進行分析，推測顧客的消費習慣和潛在需求等內容。這樣經營者就可以通過這些數據分析可能的商業賣點，針對不同顧客進行不同的推薦服務，並有的放矢開展營銷活動。這樣的數據應用模式已經在眾多電子商務公司得到廣泛應用。

英國航空為了增加營業收入，渴望通過利用乘客的消費數據來合理調配航班的運營配置，以此節約成本並探求新的消費潛力。英國航空通過與世界上知名酒店公司合作，獲取相關資料庫內存儲的海量會員信息數據，來向乘客推薦相應的差旅住宿服務，使其感受到更好的服務質量，提高其在會員心中的品牌形象。英國航空公司積極與數據公司合作，將大數據技術應用在商業領域，預測潛在的人流物流信息，以此將數據分析結果轉化成實實在在的商業利潤。這樣的成功案例對改變物流和運輸領域的服務方式和經營思路有著指導性意義。

英國渴望成為大數據時代的引領者

作為工業革命的發源地，英國的科技創新能力和科學研究團隊仍然在世界上首屈一指，它有著世界上最優秀的高等學府，其計算機處理能力研究、人工智慧自動化、計算機軟硬體開發等高科技領域專業的科研實力和成果都名列前茅。良好的科研基礎和技術儲備加上率先開啟的大數據國家戰略讓英國人確實有理由相信，在新的科技革命中他們仍可佔有一席之地。

2012年5月世界上首個非營利性的開放式數據研究所ODI（The Open Data Institute）在英國成立。它利用互聯網技術將全世界人們提供的數據匯總到一個平台上，利用雲存儲等新興技術手段達到海量存儲的目的。這一平台對於融合來自不同國家、不同行業、不同類型的人們感興趣的所有數據具有很大的幫助。同時，ODI的研究范圍非常廣泛，它不僅僅接收和存儲數據，更重要的是面對大數據的應用展開研究。

大數據革命已經觸及英國的各行各業，政府公開財政數據，研究機構紛紛成立，商業運作逐步展開，英國人已經開始擁抱大數據技術。「大數據時代將開啟下一次工業革命」，英國政府內閣辦公廳大臣弗朗西斯·莫德說，「兩百年前的工業革命用前所未有的方式開創了歷史，現在我們用大數據的形式來進行生產和提供服務同樣是在創造歷史」。經過了近年來的沒落，當年的日不落帝國渴望在大數據時代建立他們曾經的輝煌。

以上是小編為大家分享的關於英國開啟大數據時代的相關內容，更多信息可以關注環球青藤分享更多干貨

『陸』 深度分析大數據的革命前景

深度分析大數據的革命前景

「大數據」是當前的時髦術語，是技術界用來解決世界上最難處理的問題的全能辦法。這個術語一般用來描述對海量信息進行分析，從而發現規律、收集有價值的見解和預言復雜問題答案的技巧與科學。它也許聽起來有些乏味，但是從制止恐怖分子，到消除貧困，到拯救地球，對於大數據的鼓吹者來說，沒有什麼問題是解決不了的。

維克托?梅耶—舍恩伯格和肯尼思?丘基爾在有著樸素書名的《大數據：一次將改變我們生活、工作和思考方式的革命》一書中歡呼道：「對社會的好處將是無窮無盡的，因為大數據在一定程度上將解決迫在眉睫的全球問題，如處理氣候變化、根除疾病以及促進善政和經濟發展等。」

只要有足夠多的數據可以處理———不管是你的iPhone上的數據、雜貨店購物狀況、在線約會網站個人簡介或者是整個國家的匿名健康記錄，利用對這些原始數據進行解碼的計算能力，人們可以獲得數不勝數的有價值的見解。甚至連奧巴馬政府也已經趕上了這股潮流，並在5月9日向企業家、研究人員和公眾「破天荒」發布了大量「以前難以獲取或難以管理的數據」。

然而，大數據真的完全像人們吹噓的那樣嗎?我們能相信眾多的1和0將能揭示人類行為的隱秘世界嗎?以下是作者對所謂大數據理論的思索。

1.「有了足夠的數據，數字就可以自己說話」

沒門兒。大數據的鼓吹者希望我們相信，在一行行的代碼和龐大資料庫的背後存在著有關人類行為模式的客觀、普遍的有價值的見解，不管是消費者的支出規律、犯罪或恐怖主義行動、健康習慣，還是雇員的生產效率。但是許多大數據的傳道者不願正視其不足。

數字無法自己說話，而數據集———不管它們具有什麼樣的規模———仍然是人類設計的產物。大數據的工具———例如ApacheHadoop軟體框架———並不能使我們擺脫曲解、隔閡和錯誤的成見。

當大數據試圖反映我們所生活的社會化世界時，這些因素變得尤其重要，而我們卻常常會傻乎乎地認為這些結果總是要比人為的意見來得客觀些。偏見和盲區存在於大數據中，就像它們存在於個人的感覺和經驗中一樣。不過存在一種值得懷疑的信條，即認為數據總是越大越好，而相關性也等同於因果關系。

例如，社交媒體是大數據分析的一個普遍的信息源，那裡無疑有許多信息可以挖掘。我們被告知，推特網的數據顯示人們在離家越遠的時候越快樂，而且在周四晚上最為沮喪。但是存在許多理由對這些數據的含義提出質疑。首先，我們從皮尤研究中心獲悉，美國上網的成年人中只有16%使用推特網，因而他們絕對不是一個具有代表性的樣本———與整體人口相比，他們中年輕人和城市人的比例偏多。

此外，我們知道許多推特賬號是被稱作「機器人」程序的自動程序、虛假賬號或是「半機器人」系統(即得到機器人程序輔助的人為控制賬號)。最近的估計顯示，可能存在多達2000萬個虛假賬號。因此就算我們要想踏入有關如何評估推特網用戶情緒的方法論雷場之前，讓我們先問一下這些情緒究竟是來自真人，還是來自自動化演算法系統。

2.「大數據將使我們的城市變得更加智能和高效」

在一定程度上是的。大數據可以提供幫助改善我們城市的寶貴見識，但是它對我們的幫助僅此而已。因為數據在生成或採集的過程並不都是平等的，大數據集存在「信號問題」———即某些民眾和社區被忽略或未得到充分代表，這被稱為數據黑暗地帶或陰影區域。因此大數據在城市規劃中的應用在很大程度上取決於市政官員對數據及其局限性的了解。

例如，波士頓的StreetBump應用程序是一個比較聰明的以低成本收集信息的途徑。該程序從開車經過路面坑窪處的駕駛員的智能手機上收集數據。更多類似的應用正在出現。但是如果城市開始依靠僅來自智能手機用戶的信息，那麼這些市民只是一個自我選擇樣本———它必然導致擁有較少智能手機用戶的社區的數據缺失，這樣的社區人群通常包括了年老和不那麼富有的市民。

盡管波士頓的新城市機械辦公室作出了多項努力來彌補這些潛在的數據缺陷，但不那麼負責的公共官員可能會遺漏這些補救措施，最終會得到不均衡的數據，從而進一步加劇已有的社會不公。人們只要回顧一下曾經過高估計了年度流感發病率的2012年「谷歌流感趨勢」，就可以認識到依賴有缺陷的大數據可能給公共服務及公共政策造成的影響。

在網上公開政府部門數據的「開放政府」計劃———如Data.gov網站及「白宮開放政府計劃」———也存在同樣的情況。更多的數據未必會改善政府的任何功能，包括透明度和問責，除非存在可以使公眾和公共機構保持接觸的機制，更不用說促進政府解釋數據並以足夠的資源作出反應的能力。所有這些都非易事。事實上，我們身邊還沒有很多技能高超的數據科學家。各大學目前正在爭相定義這一領域、制訂教程和滿足市場需求。

幾乎不是這樣。對大數據所號稱的客觀性的另一個期待是對於少數群體的歧視將會減少，因為原始數據總是不含社會偏見的，這使得分析可以在整體水平上進行，從而避免基於群體的歧視。然而，由於大數據能夠作出有關群體不同行為方式的論斷，它們的使用通常恰恰就是為了實現一個目的———即把不同的個體歸入不同的群體中。例如，最近有一篇論文指科學家聽任自己的種族偏見影響有關基因組的大數據研究。

大數據有可能被用來搞價格歧視，從而引發嚴重的民權擔憂。這種做法在歷史上曾被稱為「劃紅線」。最近，劍橋大學對臉譜網5.8萬個「喜歡」標注進行的大數據研究被用來預測用戶極其敏感的個人信息，如性取向、種族、宗教和政治觀點、性格特徵、智力水平、快樂與否、成癮葯物使用、父母婚姻狀況、年齡及性別等。

記者湯姆?福爾姆斯基這樣評價該項研究：「此類容易獲得的高度敏感信息可能會被僱主、房東、政府部門、教育機構及私營組織用來對個人實施歧視和懲罰。而人們沒有任何抗爭的手段。」

最後考慮一下在執法方面的影響。從華盛頓到特拉華州的紐卡斯爾縣，警方正在求助於大數據的「預測性警事」模型，希望能夠為懸案的偵破提供線索，甚至可以幫助預防未來的犯罪。不過，讓警方把工作專注於大數據所發現的特定「熱點」，存在著強化警方對聲譽不佳的社會群體的懷疑以及使差別化執法成為制度的危險。

正如某位警察局局長撰文指出的，盡管預測性警事登記系統不考慮種族和性別等因素，但是如果沒有對差別化影響的考慮，使用這種系統的實際結果可能「會導致警方與社區關系惡化，讓公眾產生司法程序缺失的感覺，引發種族歧視指控，並使警方的合法性受到威脅」。

4.「大數據是匿名的，因此它不會侵犯我們的隱私」

大錯特錯。盡管許多大數據的提供者盡力消除以人類為對象的數據集中的個體身份，但身份重新被確認的風險仍然很大。蜂窩電話數據看起來也許相當匿名，但是最近對歐洲150萬手機用戶的數據集進行的研究表明，只需要4項參照因素就足以挨個確認其中95%的人員的身份。

研究人員指出，人們在城市中走過的路徑存在唯一性，而鑒於利用大量公共數據集可以推斷很多信息，這使個人隱私成為「日益嚴重的擔憂」。

但是大數據的隱私問題遠遠超出了常規的身份確認風險的范疇。目前被出售給分析公司的醫療數據有可能被用來追查到你的身份。關於個性化醫療有很多談論，人們的希望是將來可以針對個人研製葯物和其他療法，就好像這些葯物和療法是利用患者自己的DNA製作出來的。

就提高醫學的功效而言，這是個美妙的前景，但這本質上依賴於分子和基因水平上的個人身份確認，這種信息一旦被不當使用或泄露就會帶來很大的風險。盡管像RunKeeper和Nike+等個人健康數據收集應用得到了迅速發展，但在實踐中用大數據改善醫療服務仍然還只是一種願望，而不是現實。

高度個人化的大數據集將成為黑客或泄露者覬覦的主要目標。維基揭秘網一直處在近年幾起最嚴重的大數據泄密事件的中心。正如我們從英國離岸金融業大規模數據泄露事件中看到的，與其他所有人一樣，世界上最富有的1%人口的個人信息也極易遭到公開。

5.「大數據是科學的未來」

部分正確，但它還需要一些成長。大數據為科學提供了新的途徑。我們只需看一下希格斯玻色子的發現，它是歷史上最大規模網格計算項目的產物。在該項目中，歐洲核子研究中心利用Hadoop分布式文件系統對所有數據進行管理。但是除非我們認識到並著手解決大數據在反映人類生活方面的某些內在不足，否則我們可能會依據錯誤的成見作出重大的公共政策和商業決定。

為了解決這個問題，數據科學家正在開始與社會科學家協作。隨著時間的推移，這將意味著找到把大數據策略和小數據研究相結合的新途徑。這將遠遠超越廣告業或市場營銷業採用的做法，如中心小組或A/B測試(即向用戶展示兩個版本的設計或結果，以確定哪一個版本的效果更好)。

確切地說，新的混合式方法將會詢問人們做某些事情的原因，而不只是統計某件事情發生的頻率。這意味著在信息檢索和機器學習之外，還將利用社會學分析和關於人種學的深刻認識。

技術企業很早就意識到社會科學家可以幫助它們更加深刻地認識人們與其產品發生關系的方式和原因，如施樂公司研究中心就曾聘請了具有開拓精神的人類學家露西?薩奇曼。下一階段將是進一步豐富計算機科學家、統計學家及眾多門類的社會科學家之間的協作———不僅是為了檢驗各自的研究成果，而且還要以更加嚴格的態度提出截然不同的各類問題。

考慮到每天有大量關於我們的信息———包括臉譜網點擊情況、全球定位系統(GPS)數據、醫療處方和Netflix預訂列表———被收集起來，我們遲早要決定把這樣的信息託付給什麼人，以及用它們來實現什麼樣的目的。

我們無法迴避這樣的事實，即數據絕不是中立的，它很難保持匿名。但是我們可以利用跨越不同領域的專業知識，從而更好地辨別偏見、缺陷和成見。

以上是小編為大家分享的關於深度分析大數據的革命前景的相關內容，更多信息可以關注環球青藤分享更多干貨