Ⅰ 大數據應用都面臨什麼挑戰
第一個挑戰就是對數據資源及其價值的認識不足。這是因為全社會尚未形成對大數據客觀、科學的認識，對數據資源及其在人類生產、生活和社會管理方面的價值利用認識不足，存在盲目追逐硬體設施投資、輕視數據資源積累和價值挖掘利用等現象。所以說這是我國大數據長期內最大的挑戰，但也是比較容易實現的目標。
第二個挑戰就是技術創新與支撐能力不夠。這主要是因為大數據需要從底層晶元到基礎軟體再到應用分析軟體等信息產業全產業鏈的支撐，無論是新型計算平台、分布式計算架構，還是大數據處理、分析和呈現方面與國外均存在較大差距，對開源技術和相關生態系統的影響力仍然較弱，總體上難以滿足各行各業大數據應用需求。而這是大數據短期內最大的挑戰。
第三個挑戰就是數據資源建設和應用水平不高。這是因為用戶普遍不重視數據資源的建設，即使有數據意識的機構也大多隻重視數據的簡單存儲，很少針對後續應用需求進行加工整理。而且數據資源普遍存在質量差，標准規范缺乏，管理能力弱等現象。在很多跨部門、跨行業的數據共享仍不順暢，有價值的公共信息資源和商業數據開放程度低。數據價值難以被有效挖掘利用，所以說，大數據應用整體上處於起步階段，潛力遠未釋放。
第四個挑戰就是信息安全和數據管理體系尚未建立。數據所有權、隱私權等相關法律法規和信息安全、開放共享等標准規范缺乏，技術安全防範和管理能力不夠，尚未建立起兼顧安全與發展的數據開放、管理和信息安全保障體系。
第五個挑戰就是人才隊伍建設還需加強。就目前而言，我國的綜合掌握數學、統計學、計算機等相關學科及應用領域知識的綜合性數據科學人才缺乏，遠不能滿足發展需要，尤其是缺乏既熟悉行業業務需求，又掌握大數據技術與管理的綜合型人才。
Ⅱ 大數據給我們的管理活動帶來什麼挑戰
一、大數據時代抄網路輿情管理面臨的襲新形勢，大數據意味著人類可以分析和使用的數據大量增加，有效管理和駕馭海量數據的難度不斷增長，網路輿情管理面臨全新的機遇和挑戰。
二是信息選擇性傳播的挑戰。網上數據無限性和網民關注能力有限性之間的矛盾，加劇了社會輿論的「盲人摸象」效應。
三是輿論話語權分散的挑戰。大數據時代各類數據隨手可得，越來越多的機構、個人通過數據挖掘和分析得出的各種結論會不脛而走，有效管理輿情的難度越來越大。
Ⅲ 企業大數據工作的任務、工具及挑戰
企業大數據工作的任務、工具及挑戰
隨著互聯網、移動互聯網和物聯網的廣泛而深入地應用，人類活動的蹤跡加快在網路空間的映射，網路瀏覽、行車軌跡、物等等均留下數據記錄。
目前，全球數據呈現爆發式增長態勢，人類社會邁入大數據時代；
全球每18個月新增數據量是人類有史以來全部數據量的總和。
大數據的核心是數據，與大小無關，數據已經成為戰略資產。
數據是人類活動在網路空間的映射，蘊含人類生產、生活的規律，挖掘數據潛在價值，對國家治理、社會管理、企業決策和個人生活影響深遠。
世界經濟論壇的報告認為大數據為新財富，價值堪比石油；
商業版圖由此被重新劃定，通曉如何利用這些數據的企業將成為最強者。
0. 澄清基本概念
為了不在後面討論中因概念不清產生誤解，我們首先給出幾個定義：
大型IT企業：指對外提供IT相關的軟硬體產品及服務的公司，員工至少在萬人以上。
數據平台：指大型IT企業用來為自身服務為主，擔負數據存儲、處理、分析業務和軟硬體綜合。
主要針對內部服務，不對外開發。
數據分析：此處的數據分析師廣義的，包括一切基於數據得出的insights的行為，包括統計分析、機器學習建模和預測等。
1. 大型IT企業開展對內數據業務的驅動力
就目前而言，IT企業針對自身的數據分析業務可以分為廣告和非廣告兩類。
對大多數企業而言，除了廣告之外的數據業務，並不能直接帶來可以量化的收入。
但是，無論當前數據分析的結果為企業的現金流做了多少貢獻。
數據為王的思想已然占據了眾多前沿企業間的頭腦。
數據是礦山，insights是金子，有了礦山才能有金子，有了礦山，終究會有金子。
因此，開發數據業務最主要的驅動力，實際是對數據業務未來前景的積極預估。
主要應用有(除廣告之外)：
用戶畫像——越來越多的企業開始觀眾用戶畫像，畢竟知己知彼百戰不殆，賣東西先得了解買主。
客戶保持——預測哪些現有客戶可能棄用產品或服務，即使採取措施挽留之。
產品使用分析——DAU，MAU，PV，UV，CTR等等，這些看起來都是些簡單的統計數字，但卻是反應產品被使用情況的重要指標。
產品推薦、銷量預測銷售指標……等等
具體到某一種應用，看似並不復雜，有些有成熟的方法可以用來訓練模型，還有些根本就是統計指標。
似乎並不需要什麼高深的演算法背景。但一旦涉及實際，就不像看起來那麼簡單了。
即使是統計指標，也不像想像得那樣，隨便run幾個sql query就能得出來。
對於大型分布式系統，不同模塊的訪問log都有可能分布在不同的cluster上，單純收集每日全局log就是一個復雜工作，更別說之後的合並、去重、聚合等工作。
因此，大型企業的數據分析不是做個excel表，安裝一個免費mysql能夠解決的，而是需要專門的大型數據分析平台。
2. 數據分析平台通用架構
常見的數據分析平台，至少包括數據存儲、處理和分析三個部分。
2.1 數據存儲
數據存儲不必解釋，是一定必要的。
但是如何備份是一個很重要的問題。
假設：某公司一年產生上千PB的數據。
按照單純數據的存儲費用1美元/GB年計算，存1TB一年就是1000美元，一PB就是100萬，1000PB就是10億。如果就是簡單的使用hadoop的默認配置，每份數據都存3份，那麼，這個實際產生數據x 3的體量將有多大?有將有多大的cost?
這是存儲層的挑戰。為了解決這個問題，一方面從硬體層面力圖降低存儲介質的價格，比如近年來冷存儲的提出，就是針對運維費用。
另一方面就是尋找備份演算法。
例如，yahoo專門研發了一種圖片存儲演算法，邏輯上是11個備份，但是size只有原size的1.x倍。
2.2 數據處理
數據處理傳統上叫ETL、EDW，主要指數據的清洗、遷移和格式化。
大數據平台，由於應用范疇不同，自然多種多樣，源數據包括結構化數據和非結構化數據。
但是如果數據真的是「大數據」(符合4V特徵)的話，即使本身收集上來的數據是結構化的，也往往需要二次處理，轉換format或schema。
數據處理層所需技術相對簡單，然而挑戰在於對於數據的理解。
如果不知道這個收集上來的log文件裡面要提取出多少欄位，每個欄位對應數據源中的哪個部分，則數據提取完全不能進行。
這就要求進行數據處理的人必須同時具備對業務的了解。
2.3 數據分析
數據分析是數據中尋找價值的關鍵步驟。
數據分析工作本身還處於初級階段。
除了一些簡單的統計計算，大多數數據還是只能交給分析人員，進行沒有特別針對性的探索，效果難以得到保證。
對於這些挑戰，開展數據業務早的公司，相應的平台和技術是在針對自身業務的過程中慢慢發展起來，部分公司選擇是將平台外包或者自己開發針對自身業務的定製功能。
相對於前兩者，數據分析師一個業務針對性更強的步驟，因此更難採用通用方法或手段解決，更加依賴企業自身的積累。
3. 數據分析平台開源框架
3.1 開源框架
目前，就國內而言，談到數據分析相關的開源框架，總不能忽略下面三個：
hadoop：batch，mapRece
storm：streaming
spark：batch + streaming
這些開源框架的共同特點是把重點放在並行計算框架上，關注的是job latency, load balance和fault recovery，對於資源分配、用戶管理和許可權控制幾乎不考慮。
它們基於的假設是:所有用戶都一樣，平權，所有用戶都能用所有的機器以最快的可能完成所有工作。
3.2 開源框架的局限
而在大型企業內部，不同部門，同一部門的不同job，絕對不是平權的。
不同部門之間，也有很多私密的數據，不讓別人訪問。
不同用戶的許可權也是不一樣的。對於計算資源的需求，因為不同job的優先順序不同，也要求予以區別。
在這種需求之下，催生了一些第三方，專門提供hadoop等開源框架的資源、許可權管理產品或者服務。hadoop在升級到2以後，也考慮一些數據隔離的問題。
但其力度，恐怕難以滿足大多數大型企業的要求。
這也是使用開源框架的無奈。使用開源產品的商業發行版，也是一種辦法。不過始終是不如企業原生系統在這方面的支持。
3.3 企業原生框架
確實也有些企業獨立開發了全自主(不基於開源產品)的僅限於內部使用的分布式數據處理平台。在用戶管理，數據訪問許可權，存儲、運算資源管理等方面很下功夫。
例如：要求每個用戶在提交job前必須先申請token，有多少token，就有多少計算量。不同數據存儲路徑之間的許可權完全單獨管理，使用者也要實現申請許可權。
但是開發這樣的系統意味著企業必須具備非常強大的研發能力，並能承擔得起巨大的人力等資源的消耗。而且相對於開源系統已經實現的功能，難免有重復造輪子之嫌，即使是大型企業，也很少選取這種方案。
4. 大型IT企業數據業務的挑戰
4.1 通用挑戰：意識、技術和人才
4.1.1 意識
意識主要是指決策層的思想意識——數據對於企業發展是否真的必要?
這一點在很多管理者腦子里還是存疑的，他們目前所處狀態很多是：聽說數據這東西有用，人家都在搞，所以我們也要搞，至於是不是真有用，搞出來看看再說。
如果只是採用游戲或者試探態度，必然影響發展進程。但這也是沒辦法的事情，所有新事物都必須經歷這一過程。
4.1.2 技術
技術指目前數據分析的技術，基本是採用新框架逆流支持舊介面的策略。
曾經有一篇文章，名叫《NoSQL?NO，SQL》，說的就是這個。
包括spark回頭支持SQL，也是如此。明明我們分析的是非結構化數據，但是因為高階演算法的問題，卻連mapRece都放棄了，索性回到SQL時代。
為了讓更多人用的舒服，不去開發針對非結構化數據的新方法，而是反過來，向下兼容結構化。
個人認為這是一種逆流。這樣做則永遠無法避免巨大的數據處理工作。
4.1.3 人才
「數據科學家」這個詞大家肯定都知道。
可是，這個職位其實很模糊，不同公司，甚至同一公司的不同部門之間對這一職位的定義相差甚遠。
有些數據科學家是學數學的博士，有些是以前做BI的，有些是PM轉行的，水平參差不齊。
所以，恐怕在相當長的時期里，這會是一個門檻低，要求高的職位。很難短時間內批量涌現出優秀者。
4.2 特有挑戰：產品align
產品align是說每個產品的數據分析結果可以互相對比，也就是要求其定義和實現都一致。
對於一個產品眾多的大企業而言，要求不同產品、流水線的分析報告具有可比性，這是一個很常見的需求。
但是由於現在大多數企業中數據分析不是由一個部門統一管理，各個產品部門各自為戰，結果導致在align的過程中互相牽制，進而拉低了所有產品的分析水平。
這樣的挑戰有賴於企業總體數據策略的制定和執行。
而整體策略的制定和執行又有賴於前面所說的三點通用挑戰，環環相扣，顯然不能一蹴而就。
5. 大企業數據工作的發展趨勢
早期的數據分析工作，在實踐層面基本採用批處理模式。
隨著業務的發展，對於其實時或者准實時(NRT)的需求越來越多。
提供latency極短的增量分析和流式服務是眾多企業數據分析工作的當務之急。
從長遠考慮，真正擁有數據的是大企業，未來，大企業在數據的分析利用上，也必將全面勝出小企業。
不過，處於不同成熟階段的大公司突破點各不同。
有些技術先行，在分析方法和工具上成為領軍。
另一些則傾向數據管理和治理，在管理層面上，在策略、條例的制定上為整個社會提供先進經驗。
Ⅳ 大數據技術的出現給地理信息系統帶來哪些機遇和挑戰
機遇是，通過結合大數據，gis可以更好地研究區域的時空變化，以及全國乃至全球的時空變化，也可以研究多指標耦合影響下的時空變化。挑戰就是，技術可能更難實現。
Ⅳ 在當前大數據的新環境下it企業面臨哪些機會與挑戰
挑戰一：數據來源錯綜復雜，豐富的數據源是大數據產業發展的前提。而我國數字化的數據資源總量遠遠低於美歐。
挑戰二：數據挖掘分析模型建立，關於大數據分析，人們鼓吹其神奇價值的喧囂聲浪很高，卻鮮見其實際運用得法的模式和方法。
挑戰三：數據開放與隱私的權衡，目前我國一些部門和機構擁有大量數據但寧願自己不用也不願提供給有關部門共享，導致信息不完整或重復投資。
挑戰四：大數據管理與決策，在今時今日的商業世界中，高管的決策仍然更多地依賴個人經驗和直覺，而不是基於數據。
挑戰五：大數據人才缺口，精通大數據技術的相關人才也成為一個大缺口。