工業大數據面臨的問題和挑戰

⑶ 大數據工程未來有哪些挑戰

1、基礎平台的改變

首先大數據挑戰的就是企業的存儲系統，大數據爆炸式的增長使得存儲系統的容量、擴展能力、傳輸瓶頸等方面都面臨著挑戰。與之相連的還有伺服器的計算能力，內存的存儲能力等等都面臨著新的技術攻關。目前快閃記憶體技術的發展以及英特爾、IBM等公司在大數據方面都已經投入相當大的資金進行研發，主要也是為了解決大數據對基礎平台所帶來的挑戰。

同樣，大數據分析同樣面臨著軟體方面的挑戰，同時也引發資料庫、數據倉庫、數據挖掘、商業智能、人工智慧、內容/知識管理等領域的技術變革。Hadoop是近年大家經常提到了一個能夠對大量數據進行分布式處理的軟體框架，用戶可以輕松地在Hadoop上開發和運行處理海量數據的應用程序。

2、商業模式的挑戰

大數據具有強大的數據價值，當我們可以利用大數據挖掘到需要信息的時候，則需要我們根據得到的信息對企業的商業模型、產品和服務等方面進行創新，這樣才能夠真正的讓大數據的價值得到體現。

⑷ 在當前大數據的新環境下 it企業面臨哪些機會與挑戰

挑戰一：數據來源錯綜復雜
豐富的數據源是大數據產業發展的前提。而我國數字化的數據資源總量遠遠低於美歐，每年新增數據量僅為美國的7%，歐洲的12%，其中政府和製造業的數據資源積累遠遠落後於國外。就已有有限的數據資源來說，還存在標准化、准確性、完整性低，利用價值不高的情況，這大大降低了數據的價值。
大數據時代，我們需要更加全面的數據來提高分析預測的准確度，因此我們就需要更多便捷、廉價、自動的數據生產工具。除了我們在網上使用的瀏覽器有意或者無意記載著個人的信息數據之外，手機、智能手錶、智能手環等各種可穿戴設備也在無時無刻地產生著數據；就連我們家裡的路由器、電視機、空調、冰箱、飲水機、凈化器等也開始越來越智能並且具備了聯網功能，這些家用電器在更好地服務我們的同時，也在產生著大量的數據；甚至我們出去逛街，商戶的WIFI,運營商的3G網路，無處不在的攝像頭電子眼，百貨大樓的自助屏幕，銀行的ATM，加油站以及遍布各個便利店的刷卡機等也都在產生著數據。
挑戰二：數據挖掘分析模型建立

步入大數據時代，人們紛紛在談論大數據，似乎這已經演化為新的潮流趨勢。數據比以往任何時候都更加根植於我們生活中的每個角落。我們試圖用數據去解決問題、改善福利，並且促成新的經濟繁榮。人們紛紛流露出去大數據的高期待以及對大數據分析技術的格外看好。然而，關於大數據分析，人們鼓吹其神奇價值的喧囂聲浪很高，卻鮮見其實際運用得法的模式和方法。造成這種窘境的原因主要有以下兩點：一是對於大數據分析的價值邏輯尚缺乏足夠深刻的洞察；其次便是大數據分析中的某些重大要件或技術還不成熟。大數據時代下數據的海量增長以及缺乏這種大數據分析邏輯以及大數據技術的待發展，正是大數據時代下我們面臨的挑戰。

大數據的大，一般人認為指的是它數據規模的海量。隨著人類在數據記錄、獲取及傳輸方面的技術革命，造成了數據獲得的便捷與低成本，這便使原有的以高成本方式獲得的描述人類態度或行為的、數據有限的小數據已然變成了一個巨大的、海量規模的數據包。這其實是一種片面認識。其實，前大數據時代也有海量的數據集，但由於其維度的單一，以及和人或社會有機活動狀態的剝離，而使其分析和認識真相的價值極為有限。大數據的真正價值不在於它的大，而在於它的全面：空間維度上的多角度、多層次信息的交叉復現；時間維度上的與人或社會有機體的活動相關聯的信息的持續呈現。

挑戰三：數據開放與隱私的權衡

數據應用的前提是數據開放，這已經是共識。有專業人士指出，中國人口居世界首位，但2010年中國新存儲的數據為250PB，僅為日本的60%和北美的7%。目前我國一些部門和機構擁有大量數據但寧願自己不用也不願提供給有關部門共享，導致信息不完整或重復投資。2012年中國的數據存儲量達到64EB，其中55%的數據需要一定程度的保護，然而目前只有不到一半的數據得到保護。

開放與隱私如何平衡，亦是一大難題。任何技術都是雙刃劍，大數據也不例外。如何在推動數據全面開放、應用和共享的同時有效地保護公民、企業隱私，逐步加強隱私立法，將是大數據時代的一個重大挑戰。
挑戰四：大數據管理與決策
大數據的技術挑戰顯而易見，但其帶來的決策挑戰更為艱巨。大數據至關重要的方面，就是它會直接影響組織怎樣作決策、誰來作決策。在信息有限、獲取成本高昂且沒有被數字化的時代，組織內作重大決策的人，都是典型的位高權重的人，要不然就是高價請來的擁有專業技能和顯赫履歷的外部智囊。但是，在今時今日的商業世界中，高管的決策仍然更多地依賴個人經驗和直覺，而不是基於數據。
大數據開發的根本目的是以數據分析為基礎，幫助人們做出更明智的決策，優化企業和社會運轉。哈佛商業評論說，大數據本質上是「一場管理革命」。大數據時代的決策不能僅憑經驗，而真正要「拿數據說話」。因此，大數據能夠真正發揮作用，深層次看，還要改善我們的管理模式，需要管理方式和架構的與大數據技術工具相適配。這或許是我們最難邁過的一道坎了。
挑戰五：大數據人才缺口
如果說，以Hadoop為代表的大數據是一頭小象，那麼企業必須有能夠馴服它的馴獸師。在很多企業熱烈擁抱這類大數據技術時，精通大數據技術的相關人才也成為一個大缺口。

大數據建設的每個環節都需要依靠專業人員完成，因此，必須培養和造就一支懂指揮、懂技術、懂管理的大數據建設專業隊伍。

⑸ 如何應對「大數據時代」的挑戰

大數據行業面臨的五大挑戰如下：

挑戰一：數據來源錯綜復雜
豐富的數據源是大數據產業發展的前提。而我國數字化的數據資源總量遠遠低於美歐，每年新增數據量僅為美國的7%，歐洲的12%，其中政府和製造業的數據資源積累遠遠落後於國外。就已有有限的數據資源來說，還存在標准化、准確性、完整性低，利用價值不高的情況，這大大降低了數據的價值。
現如今，幾乎任何規模企業，每時每刻也都在產生大量的數據，但這些數據如何歸集、提煉始終是一個困擾。而大數據技術的意義確實不在於掌握規模龐大的數據信息，而在於對這些數據進行智能處理，從中分析和挖掘出有價值的信息，但前提是如何獲取大量有價值的數據。

挑戰二：數據挖掘分析模型建立
步入大數據時代，人們紛紛在談論大數據，似乎這已經演化為新的潮流趨勢。數據比以往任何時候都更加根植於我們生活中的每個角落。我們試圖用數據去解決問題、改善福利，並且促成新的經濟繁榮。人們紛紛流露出去大數據的高期待以及對大數據分析技術的格外看好。然而，關於大數據分析，人們鼓吹其神奇價值的喧囂聲浪很高，卻鮮見其實際運用得法的模式和方法。造成這種窘境的原因主要有以下兩點：一是對於大數據分析的價值邏輯尚缺乏足夠深刻的洞察；其次便是大數據分析中的某些重大要件或技術還不成熟。大數據時代下數據的海量增長以及缺乏這種大數據分析邏輯以及大數據技術的待發展，正是大數據時代下我們面臨的挑戰。

挑戰三：數據開放與隱私的權衡
數據應用的前提是數據開放，這已經是共識。有專業人士指出，中國人口居世界首位，但2010年中國新存儲的數據為250PB，僅為日本的60%和北美的7%。目前我國一些部門和機構擁有大量數據但寧願自己不用也不願提供給有關部門共享，導致信息不完整或重復投資。2012年中國的數據存儲量達到64EB，其中55%的數據需要一定程度的保護，然而目前只有不到一半的數據得到保護。

挑戰四：大數據管理與決策
大數據的技術挑戰顯而易見，但其帶來的決策挑戰更為艱巨。大數據至關重要的方面，就是它會直接影響組織怎樣作決策、誰來作決策。在信息有限、獲取成本高昂且沒有被數字化的時代，組織內作重大決策的人，都是典型的位高權重的人，要不然就是高價請來的擁有專業技能和顯赫履歷的外部智囊。但是，在今時今日的商業世界中，高管的決策仍然更多地依賴個人經驗和直覺，而不是基於數據。

挑戰五：大數據人才缺口
如果說，以Hadoop為代表的大數據是一頭小象，那麼企業必須有能夠馴服它的馴獸師。在很多企業熱烈擁抱這類大數據技術時，精通大數據技術的相關人才也成為一個大缺口。

⑹ 大數據分析給企業帶來哪些挑戰

IT源系統的多樣性

存儲數據是一個復雜的過程，維護時會增加並發症。財富500強企業平均擁有數百個企業IT系統。由於格式不同，跨數據源的引用不匹配以及重復，大多數文件處於混亂狀態。

管理高頻數據

實時數據流。存在諸如數據審查之類的問題，例如，對於海上低壓壓縮機的排氣溫度的讀取本身僅是有限的值。但是，結合環境溫度，風速，壓縮機泵轉速，以前的維護操作歷史和維護日誌，可以為海上鑽機操作員創建有價值的警報系統。

與數據湖一起運作

數據湖是一個集中式存儲庫，可以存儲任何規模的結構化和非結構化數據。將組織的所有數據放在一個窗口中不會帶來任何好處。它不僅使數據位於孤立的企業系統中，還激起了數據的復雜性。

組織各種數據內容

無法保證數據採用單一格式。公司通過圖像，文件，視頻，文檔等收集數據。但是，它們被放在稱為大數據的同一個屋檐下。因此，在進行分析之前，很難區分它們並將其置於不同的渠道，並且涉及許多機制。另一個麻煩是數據的清晰度，有些文件甚至不符合最低清晰度要求。

採用新興的AI工具

人工智慧工具正在發芽，在管理大數據時，它們非常有用。企業IT和分析團隊需要提供工具，使具有不同水平的數據科學能力的員工能夠使用大型數據集並使用統一的映像執行預測性分析。

關於大數據分析給企業帶來哪些挑戰，青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。

⑺ 企業大數據項目實施過程中遇到的那些挑戰

企業大數據項目實施過程中遇到的那些挑戰

說到大數據，人們很多還停留在概念的階段，不過對於一些企業來說，大數據已經就在眼前，業務的需求驅使著IT部門不得不去做大數據的分析與處理。企業需要大數據的分析和處理，但是大數據並不是想像中的那麼簡單，在實際部署實施的過程中會遇到很多方面的問題。

尤其是目前社交網路的興起帶來了更多的數據量，企業需要面對的挑戰就越來越高，因為社交網路的數據本身就是一個無底洞。一位企業CTO說：「目前我們的數據來源基本都是在社交網路上面，我么收集這些數據加以分析，幫助企業理解這些人的消費規律以及個人偏好。」

企業大數據項目遇到的那些挑戰

這位CTO所在的團隊運營著一個可以產生12億美元的數據平台，以及每天超過400萬人的PB級數據集群。所在團隊的大數據環境中包括了大量的開源平台，他們所用的技術包括：Hadoop、HBase，Hive，ElasticSearch，Scala，Storm，Node.js以及其他的很多工具。這確實是一個非常嚴峻的挑戰。

我們通過企業大數據項目的具體實施過程不難看出，在實施的過程中技術與人是最關鍵的兩個問題。選擇一個成熟的技術，並且讓最合適的人來進行實施，這樣才會有一個比較合理的結果。

目前，以及有不少的企業開始進行部署自己的大數據項目，下面我們就為大家總結一下企業在部署大數據項目過程中遇到的那些難題與挑戰。

復雜的數據計算與存儲

大數據，顧名思義海量的數據是不可避免的。這項對於傳統的數據分析而言，大數據需要大量的存儲空間來進行數據存儲，現在數據的產生量已經不是人們所能想像的，傳統的存儲介質與存儲方式並不能滿足如此快速的數據產生量。換句話來說，看看新浪微博、Facebook每分鍾產生的數據量你就會明白了，電商更是誇張，阿里雙十一，百億的交易額，這樣的數據量需要具有針對性的數據存儲方式。

而從項目的整體出發，只是存儲並不能算得上大數據。在存儲之後還需要對海量的數據進行分析與計算，只有最後得出的分析結果才會對企業有所幫助。存儲只是萬里長征的第一步，大數據處理團隊需要弄清楚這些數據背後的價值，需要合理的對數據進行歸檔，並且數據價值是需要進行計算分析得出的，龐大的數據量需要更加龐大的計算能力才能完成。

技術的成熟度的挑戰

開源技術就好比一隻小狗，它很可愛，也很好。但你需要養活它。就目前的技術發展而言，開源的大數據技術還並不是十分成熟，商業的大數據解決方案價格有非常昂貴，所以對於大部分企業來講，開源貌似是唯一的解決方向。但開源技術並不能很好的適應每一個企業的具體業務線，所以企業還要投入大量的技術力量進行維護與二次開發。開源技術是條可愛的小狗，但是你需要養活他。

許多大數據技術是在建工程。雖然基礎技術日趨完善，管理和配置的工具都處於起步階段，讓IT專業人員做工作解決的差距。企業的IT團隊不得不開發工具，從管理的角度，從工作流程的角度，從配置等不同的角度出發。

期待，努力發現人才

之前講了，大數據需要成熟的技術以及合適的人來執行，這里指的合適的人是一個真正的數據分析專家。而這樣的人往往是可遇而不可求的，除非你花重金去其他公司去挖人，而且還不能確定這個人是否能適應這個團隊。

其實從技術的角度出發，大數據的技術與工具正在迅速發展，但是這些技術與工具只掌握在少數人的手裡，並不能得到大規模的應用。所以對於企業來講，大數據的技術與人同樣重要。擁有了成熟穩定的技術，但是沒有可以執行它的人，那麼大數據項目也會相當危險，沒准什麼時候就成為了企業財政的累贅。

想想模塊化，准備投資

任何一個項目的組建都不可能是無成本的。每一個項目都會意味著人力與財力的投入。尤其是在大數據項目上，每一個關鍵的業務點都意味著大量的資源投入。相比於其他項目，大數據項目耗費的資源會更多，在基礎設施上的投入，伺服器、存儲以及計算資源和開發人員的投入都是相當龐大的。

模塊化的基礎設施一直是重要的，因為它可以讓IT團隊能夠處理的業務優先順序的變化，並提供業務透明度。企業的IT團隊有必要投資的管理和生產力工具。這就是20％，25％都集中在我的工程資源，生產力工具和工作流程管理。

將產品與業務線做對接

在企業中項目需要圍繞著業務進行實施，再好的產品項目如果不能很好的與業務進行對接，也是不能實現其真正的價值。這很容易讓大數據的專家緊密合作，產品專家和業務利弊談，但它可以是難以貫徹的想法。越來越多在？？過去的幾年中，我們已經給他們帶來了起來，因為雙方都需要了解的另一邊。

在很多失敗的案例中我們不難看出，企業大數據產品的最終失敗原因有一條就是產品不能很好的服務於企業核心業務，這樣就會導致大量投入的資源變成沒有價值體現的投入。

而成功的大數據產品就不是這樣子。一個成功的大數據分析產品可以為企業揭示風險並且識別新的商業機會，並且可以根據客戶的喜好進行商業活動，並獲得洞察客戶情緒-然後與該公司分享成果。大數據展示業務和IT事件有助於創造一個時髦圍繞大數據分析的潛力。

領導層到技術人的思想貫徹

這里說的還是與人有關，大數據項目在企業中算是一個牽動企業發展戰略的大項目。這需要從企業領導層到開發人員的整體投入。企業花了很多的時間映射可以利用大數據在我們的承保和理賠流程，並回饋業務線。項目團隊需要企業從領導層到技術層從上倒下的支持。ACE集團的督導委員會，負責領導公司的大數據議程。令人驚訝的是，它不是堆疊技術人員。「這是很難得的任何科技。有四個技術人員和大約20商界領袖在那個隊。

關鍵的事情之一是投資建設第一的技能和資源，在我們開始這段旅程。如果沒有，我們將不得不一個不可接受的滯後值回業務。一位成功部署大數據項目的CTO說。

把業務人員下放到項目中去

既然大數據項目是為了企業業務服務的，而對企業業務最為熟悉就是業務人員，在整個項目中業務人員的需求往往是必然的需求。

企業需要進行完全嵌入的做法，將一線的業務人員下派到項目的每一個關鍵環節。只要這樣，整個項目完成之後才能更好的為業務服務。企業通過建立核心競爭力，搭配新的技能，在我們的業務統計人員，數據洗滌器，數據分析，工藝專家我們的賠款及承保專長。其實這是一隻搭配的意識，分享知識，發展和創新，我們利用大數據幫助業務發展。

不要小看管理供應商或系統集成商

對於一些技術力量有限的企業來說，他們更喜歡尋找一個系統集成商或者方案供應商來進行外包。在這期間會進行方案招標，而每一家集成商的方案都不盡相同，而且沒有一家可以提供即用的解決方案，對於供應商的管理也是一個挑戰，整合所有不同的系統，將這些系統整合成為一個巨大的方案進行協同運行。

獨立評估投資回報率

在很多企業中，使用大數據分析，改進和驗證的營銷活動的有效性。當大數據項目是成功的，每個人都希望它的一部分，當你走在你開始為公司創造新的收入，項目帶來這么多錢，大家突然出來的木製品和希望聲稱。對於他的團隊，問題解決了，當CFO加強仲裁，提供獨立意見的投資回報率，公司就會更加承認大數據計劃。

轉變並不會在一夜之間發生。從多來源的數據採集，到通過深度分析獲取洞察力，之間會是一段並不平坦的征程。毫無疑問，Hadoop等技術的日趨成熟，讓企業用戶可以更方便地、在更大的范圍內收集業務的相關數據，但同時真正的挑戰也會接踵而至。這就是如何高效地處理多來源的海量數據，並且為其找到適合的商業用途。

以上是小編為大家分享的關於企業大數據項目實施過程中遇到的那些挑戰的相關內容，更多信息可以關注環球青藤分享更多干貨

⑻ 中國大數據行業發展的挑戰有哪些

挑戰一：大數據行業發展良莠不濟

我國大數據仍處於起步發展階段，在「萬眾創新，大眾創業」的大環境下，大量的大數據企業不斷涌現，但企業發展良莠不濟。

挑戰二：大數據創新、創業盲目

企業在創新、創業過程，由於缺乏對大數據產業鏈的認識，出現許多跟風扎堆的情況，沒有有效發揮自身優勢，造成巨大的資源浪費。創新的時候，我們往往會看到一些標桿出來。通俗來講，看到人家風光，沒有看到人家背後受罪的時候。往往一窩蜂跟去的時候就會發現全是坑，而且
「此去華山一條道」，滿滿的全是競爭對手。因此我們做這個排行的初衷就是為大家梳理一下，哪些行業、哪些板塊、哪些領域是什麼樣的狀況，精確的找到自己的優勢方向，去做創新和努力。

挑戰三：投資盲目

霍華德.馬克思說過「投資者們明確達成的廣泛共識差不多都是錯的」。究其原因是資本在選擇大數據項目、企業的時候，由於沒有客觀的評價標准，同時也缺乏對產業鏈的整體認知，導致投資市場追逐熱點，存在一定的盲目性，大大降低了資本對大數據行業發展的正向推動力。

挑戰四：監管的盲目性

目前，監管層很難對大數據企業和機構進行有效的監管以及正確引導，要為大數據發展打造一個良性的生態環境就比較困難。其核心原因是對大數據企業的識別評價缺乏標准和規范。

挑戰五：大數據項目建設盲目

由於人才缺乏、大數據咨詢服務還沒有發展起來等原因，用戶很難對大數據項目有全面的認識，容易受到廠商的左右，導致建設內容的盲目;由於缺乏對產業的整體認識和大數據企業評價標准、方法，所以在大數據服務商選擇上也存在一定的盲目性。

⑼ 工業大數據應用難點有哪些

工業大數據應用難點有：

一是大數據技術的運用困難，存在數據不足、數據信噪比低以及數據分析難度高等問題。

二是大數據給信息安全帶來新挑戰，如工業大數據加大了隱私泄露的風險，對現有存儲和安全措施提出了更高要求，以及大數據正在被運用到新的攻擊手段中。

目前，工業大數據在產品創新設計、產品故障診斷與預測、供應鏈的分析和優化、產品銷售預測與大數據營銷、生產計劃與排程、產品質量管理與分析等場景有廣泛的應用。「數據是工業互聯網的血液。」何友如此描述大數據與工業互聯網的互為動力。

不過，由於工業大數據數據價值密度高，數據類型繁多，多源異構的機構化數據和非結構化數據並存，數據處理實行性要求也非常高，數據關系和關聯性異常復雜等特徵，企業如何從數據統計分析能力轉變為大數據分析、預測和決策能力，促進傳統工業升級改造和產業整合，是目前要解決的核心關鍵問題。