⑴ 大數據工程面臨哪些挑戰
基礎平台的改變
大數據挑戰的就是企業的存儲系統，大數據爆炸式的增長使得存儲系統的容量、擴展能力、傳輸瓶頸等方面都面臨著挑戰。與之相連的還有伺服器的計算能力，內存的存儲能力等等都面臨著新的技術攻關。
商業模式的挑戰
大數據具有強大的數據價值，當我們可以利用大數據挖掘到需要信息的時候，則需要我們根據得到的信息對企業的商業模型、產品和服務等方面進行創新，這樣才能夠真正的讓大數據的價值得到體現。
⑵ 大數據時代所面臨的挑戰
大數據時代所面臨的挑戰
大數據時代臨近，企業數據呈現爆炸式增長，如何為了更大的發掘企業數據價值將是很多公司必須要面對的挑戰。首當其沖的是大數據的快速發展對我們原有的IT基礎設施提供了更高的挑戰，原有的IT基礎設施以及很難滿足大數據時代的需求。發現價值的過程離不開基礎平台技術的創新與發展。
基礎平台的改變
首先大數據挑戰的就是企業的存儲系統，大數據爆炸式的增長使得存儲系統的容量、擴展能力、傳輸瓶頸等方面都面臨著挑戰。與之相連的還有伺服器的計算能力，內存的存儲能力等等都面臨著新的技術攻關。目前快閃記憶體技術的發展以及英特爾、IBM等公司在大數據方面都已經投入相當大的資金進行研發，主要也是為了解決大數據對基礎平台所帶來的挑戰。
同樣，大數據分析同樣面臨著軟體方面的挑戰，同時也引發資料庫、數據倉庫、數據挖掘、商業智能、人工智慧、內容/知識管理等領域的技術變革。Hadoop是近年大家經常提到了一個能夠對大量數據進行分布式處理的軟體框架，用戶可以輕松地在Hadoop上開發和運行處理海量數據的應用程序。
商業模式的挑戰
大數據具有強大的數據價值，當我們可以利用大數據挖掘到需要信息的時候，則需要我們根據得到的信息對企業的商業模型、產品和服務等方面進行創新，這樣才能夠真正的讓大數據的價值得到體現。
如何利用大數據信息來改變商業模式最終實現價值呢，這里我們引用Tesco為案例。Tesco收集了海量的顧客數據，並且通過對每位顧客海量數據的分析，Tesco對每位顧客的信用程度和相關風險都會有一個極為准確的評估。在這個基礎上，Tesco推出了自己的信用卡，未來Tesco還有野心推出自己的存款服務。
以上是小編為大家分享的關於大數據時代所面臨的挑戰的相關內容，更多信息可以關注環球青藤分享更多干貨
⑶ 大數據帶來的挑戰有哪些
大數據近年來發展的非常快，現在也普遍得到應用，大數據帶來了機遇同時也版帶來了挑戰，當權大數據產業鏈、行業應用逐步發展完善之後，大數據將會形成質變，創新整個社會形態。光環大數據培訓認為，大數據行業的真正挑戰來自三個方面：一是原來的分析基礎要變化，要融合統計學、計算理論基礎、邏輯基礎。二是，計算技術也需要重新革新，無論是存儲、計算語言、還是計算方法都需要重新來過。三是，大數據做出來的結論對不對，還無法大規模驗證，這是目前面臨的最大挑戰。
⑷ 如何應對大數據的挑戰
合理獲取數據，存儲應需而變，篩選和分析大數據，理性面對大數據的誘惑，雲計算和大數據相輔相成，處理好非結構化數據，與硬體保持距離，提高大數據的可視化，安全防範必不可少。
⑸ 大數據的發展所面臨的挑戰有哪些
挑戰一：業務來部門沒有清晰的大自數據需求。
挑戰二：企業內部數據孤島嚴重。
挑戰三：數據可用性低，數據質量差。
挑戰四：數據相關管理技術和架構。
挑戰五：數據安全。
⑹ 大數據時代的數據分析技術面臨的挑戰
數據分析是整個大數據處理流程的核心，大數據的價值產生於分析過程。從異構數據源抽取和集成的數據構成了數據分析的原始數據。根據不同應用的需求可以從這些數據中選擇全部或部分進行分析。小數據時代的分析技術，如統計分析、數據挖掘和機器學習等，並不能適應大數據時代數據分析的需求，必須做出調整。
大數據時代的數據分析技術面臨著一些新的挑戰，主要有以下幾點。
（1）數據量大並不一定意味著數據價值的增加，相反這往往意味著數據噪音的增多。因此，在數據分析之前必須進行數據清洗等預處理工作，但是預處理如此大量的數據，對於計算資源和處理演算法來講都是非常嚴峻的考驗。
（2）大數據時代的演算法需要進行調整。首先，大數據的應用常常具有實時性的特點，演算法的准確率不再是大數據應用的最主要指標。在很多場景中，演算法需要在處理的實時性和准確率之間取得一個平衡。其次，分布式並發計算系統是進行大數據處理的有力工具，這就要求很多演算法必須做出調整以適應分布式並發的計算框架，演算法需要變得具有可擴展性。許多傳統的數據挖掘演算法都是線性執行的，面對海量的數據很難在合理的時間內獲取所需的結果。因此需要重新把這些演算法實現成可以並發執行的演算法，以便完成對大數據的處理。最後，在選擇演算法處理大數據時必須謹慎，當數據量增長到一定規模以後，可以從小量數據中挖掘出有效信息的演算法並一定適用於大數據。
（3）數據結果的衡量標准。對大數據進行分析比較困難，但是對大數據分析結果好壞的衡量卻是大數據時代數據分析面臨的更大挑戰。大數據時代的數據量大，類型混雜，產生速度快，進行分析的時候往往對整個數據的分布特點掌握得不太清楚，從而會導致在設計衡量的方法和指標的時候遇到許多困難。
⑺ 我國大數據戰略實施面臨的五大挑戰
我國大數據戰略實施面臨的五大挑戰
一、我國實施國家大數據戰略的新成效
近幾年，在國家政策支持下，我國大數據戰略取得多方面成效：
一是產業集聚效應初步顯現。國家八個大數據綜合實驗區建設促進了具有地方特色產業集聚。京津冀和珠三角跨區綜合試驗區，注重數據要素流通;上海、重慶、河南和沈陽試驗區，注重數據資源統籌和產業集聚;內蒙的基礎設施統籌發展，充分發揮能源、氣候等條件，加快實現大數據跨越發展。
二是新業態新模式不斷涌現。我國在大數據應用方面位於世界前列，特別是在服務業領域，如基於大數據的互聯網金融及精準營銷迅速普及;在智慧物流交通領域，通過為貨主、乘客與司機提供實時數據匹配，提升了物流交通效率。
三是與傳統產業融合步伐加快。鐵路、電力和製造業等加快了運用信息技術和大數據的步伐。高鐵推出「高鐵線上訂餐」等服務，提升了乘客體驗。電力企業推廣智能電表，提高了企業利潤。三一重工、航天科工、海爾等一批企業將自身積累的智能製造能力，向廣大中小企業輸出解決方案，著手建設工業互聯網平台。
四是技術創新取得顯著進展。互聯網龍頭企業伺服器單集群規模達到上萬台，具備了建設和運維超大規模大數據平台的技術實力，並以雲服務向外界開放自身技術服務能力和資源。在深度學習、人工智慧、語音識別等前沿領域，我國企業積極布局，搶占技術制高點。
五是產業規模快速增長。2016年我國包括大數據核心軟硬體產品和大數據服務在內的市場規模達到3100億元。預計2017年有望達到4185億元。未來2-3年市場規模的增長率將保持在35%左右。未來5年，年均增長率將超過50%。
六是一批企業快速成長。主要分為三類：一類是已經有獲取大數據能力、具有一定國際影響力的公司，如網路、騰訊、阿里巴巴等互聯網巨頭;二是以華為、浪潮、中興、曙光、用友等為代表的電子信息通信廠商;三是以億贊普、拓爾思、九次方等為代表的大數據服務新興企業。
七是法治法規建設全面推進。先後制定和出台《全國人大常委會關於加強網路信息保護的決定》《全國人大常委會關於加強網路信息保護的決定》《電信和互聯網用戶個人信息保護規定》《電話用戶真實身份信息登記規定(部令第25號)》《中華人民共和國網路安全法》等文件，保障用戶隱私和合法權益。
二、我國實施國家大數據戰略面臨的挑戰
一是數據權屬不清晰，數據流通和利用混亂。大數據帶來了復雜的權責關系，產生數據的個人、企業、非政府組織和政府機構，擁有數據存取實際管理權的雲服務提供商和擁有數據法律和行政管轄權的政府機構，在大數據問題上的法律權責不明確，數據產權承認和保護存在盲點，阻礙了數據有效流通。
二是數據爆炸式增長與數據有效利用矛盾突出。當前面臨的問題不是數據缺乏，而是數據快速增長與數據有效存儲和利用之間矛盾日益突出。數據呈爆炸式增長，每兩年數據量翻10倍，而摩爾定律已接近極限，硬體性能提升難以應對海量數據增長。
三是企業與政府數據雙向共享機制缺乏。目前，我國政府、少數互聯網企業和行業龍頭企業掌握了大部分數據資源，但數據歸屬處於模糊狀態，法律規定不明確，政府與企業數據資源雙向共享不夠。
四是發展一哄而上，存在過度競爭傾向。截止2017年1月，全國37個省、市出台大數據發展規劃，90%提出要統籌建設政府和行業數據中心，有12個省市提出建設面向全國的大數據產業中心，有14省(市)合計產值目標過2.8萬億元，遠遠超過工信部提出到2020年1萬億元大數據產值發展目標。
五是安全問題日益凸顯。截至2017年7月，全國共偵破侵犯公民個人信息案件和黑客攻擊破壞案件1800餘起，抓獲犯罪嫌疑人4800餘名，查獲竊取的各類公民個人信息500多億條。烏克蘭電力系統和伊朗核設施遭遇網路攻擊，也給我國電力、石油、化工、鐵路等重要信息系統安全敲響了警鍾。
三、 更好實施我國國家大數據戰略政策建議
按照十九大精神，要著力推動大數據與實體經濟深度融合，建設數字中國和智慧社會，實現網路強國的目標，需要從政府、企業、社會組織和個人等統籌推動國家大數據戰略落實。
(一)完善機制與制度，更好發揮政府作用。在體制機制方面，建議設立由國務院領導擔任組長的國家大數據戰略領導小組，負責組織領導、統籌協調全國大數據發展。領導小組下設辦公室和大數據專家咨詢委員會。
在法規建設方面，加快制定《大數據管理條例》，鼓勵行業組織制定和發布《大數據挖掘公約》和《大數據職業操守公約》，在條件成熟時啟動《數據法》立法，明確數據權屬，培育大數據市場，加快數據作為生產要素規范流通。
在產業政策方面，出台數字經濟優惠政策，創新數字經濟監管模式，加強重點人群大數據應用能力培訓，創造更多就業。
在試點示範方面，在環境治理、食品安全、市場監管、健康醫療、社保就業、教育文化、交通旅遊、工業製造等領域開展大數據試點應用，以點帶面提升大數據應用能力。
在資源共享方面，按照「邏輯統一、物理分散」原則，通過建設國家一體化大數據中心和國家互聯網大數據平台，探索政府與企業數據資源雙向共享機制。
在發展環境方面，著力部署下一代新基礎設施，加快我國信息基礎設施優化升級，制定政府大數據開發與利用的「負面清單」「權力清單」和「責任清單」，建立統計和評估指標體系，營造良好的輿論環境，防止炒作大數據概念，引導全國大數據健康有序發展。
在數據安全方面，加快落實《中華人民共和國網路安全法》，建立國家關鍵基礎設施信息安全保護制度，明確監管機構的關鍵基礎設施行業主管部門的信息安全監督管理職責，加快推動國產軟硬體的應用推廣，提升安全可控水平。
(二)對企業分類施策，發揮市場資源配置決定性作用。一是發揮互聯網龍頭企業引領和帶動作用。網路、騰訊、阿里、京東為代表的龍頭企業技術和人才儲備雄厚，具有強大的數據資源收集、存儲、計算和分析能力，成為我國大數據技術進步的主要推動力。應像使用電、水、交通等傳統基礎設施一樣，互聯網龍頭企業向各行業提供高性能和低成本的大數據服務，幫助傳統企業提升效率，提升核心競爭力。
二是發揮重要行業龍頭企業數據和用戶優勢。我國電力、交通、金融等諸多行業龍頭集聚了海量用戶和數據，是未來我國大數據戰略實施的主戰場和大數據價值真正「鑽石礦」。應發揮鐵路、電力、金融等重要行業龍頭企業優勢，通過與互聯網龍頭企業深度合作，利用其技術優勢，深度挖掘數據資源，提升自身核心競爭力，並幫助中小企業發展。
三是發揮通信運營商生力軍作用，為大數據發展提供基礎性戰略性資源。我國移動、電信、聯通等擁有全球最多的電話用戶，積累了海量數據，是我國信息社會的戰略性資源。應充分發揮自身在網路方面的優勢，推動移動互聯網、雲計算、大數據、物聯網等與行業結合，助力智慧城市、交通、能源、教育、醫療、製造、旅遊等行業的創新和發展。
(三)激發社會組織活力，構建新型協作關系。構建政府和社會組織互動的信息採集、共享和應用協作機制，提高社會組織大數據應用意識和能力，與具有大數據技術的企業合作，提高社會事業精準化水平和資金使用效率。針對發展需要、重視科技引領，整合廣大科研機構和事業單位力量，加強大數據基礎理論、方法和技術研究，推動關鍵技術突破。
(四)提升公民數據意識和能力，推動「數字公民」建設。通過給每位公民一個數字身份，方便公民獲取個性化、智慧化精準服務，提高政府公共服務的精準度與實效性，推動社會治理向精細化、智慧化轉變。要提高公民數據素養，增強公民數據權利意識，提高大數據應用能力。
⑻ 大數據分析工具面臨哪些挑戰
大數據分析工具面臨哪些挑戰
在大數據時代，傳統的智能BI和報表工具已經很難承擔大數據的市場應用任務。新一代的大數據處理工具將取代傳統的數據處理軟體，並引領新時代的數據挖掘浪潮。那麼，在信息時代背景下，大數據分析工具又將會面臨哪些挑戰呢？
數據搜集與兼容
數據的搜集與整合是數據處理的第一步，在數據源充足的情況下，如何更好更快的檢索並搜集到足夠的數據成為數據分析過程的關鍵。對於大數據分析工具來說，有時甚至要面對數十種格式的數據源或資料庫，能否快速兼容就成了關鍵。
新時代的大數據分析工具必須擁有強大的數據兼容能力，包括對非結構化數據的處理。即使在數據量龐大而雜亂的情況下，大數據分析工具也要能快速反應，整合與甄別數據，為接下來的數據分析工作打好基礎。
大數據壞境下的數據分析速率
數據分析效率直接反映大數據分析工具的性能優劣，新時代的大數據分析工具在面對海量數據時不僅要能快速分析、快速得出結果，還要能保證數據分析結果的准確與客觀（基於數據）。而傳統的數據分析工具因為軟體設計架構的落後已難以勝任大數據分析工作。
傳統的技術架構不能滿足大數據分析工具的性能要求，在眾多大數據解決方案中，國雲數據開發的大數據魔鏡採用新穎的「三層架構」模式，將大數據分析工具的功能選項做進一步細分，不得不說是一種大膽的嘗試與創新。
數據分析方法的革新
與傳統的數據處理流程相比，因為數據量的龐大和非結構化數據的增加，大數據分析工具必須具有更強的並行處理能力。以便查詢、分解及數據分析進行分布式處理，將處理任務分配到不同的處理節點，提高數據處理深度與寬度。
在數據分析過程中，數據分析模型扮演著分析「路徑」的角色。大數據分析工具必須內嵌有多種數據分析模型才能滿足不同目的的數據分析需求。這個要求從技術層面上來說問題不大，關鍵是隨著大數據應用范疇的拓展，大數據分析工具能否趕上市場需求的步伐。
數據可視化技術（末端展示）
數據可視化可謂是新時代數據分析工具必備的功能了。數據可視化就是將數據或者數據分析結果以圖表的形式展示在各種平台上。這要求大數據分析工具有著強大的數據圖表渲染功能，並且要內置豐富的可視化效果，以滿足用戶的不同展示需求。
除了末端展示的需要，數據可視化也是數據分析時不可或缺的一部分，即返回數據時的二次分析。大數據魔鏡僅可視化效果就有數百種，能為客戶提供完美的數據可視化解決方案，可見數據可視化技術已成為主流大數據分析工具的「標配」。
時代在變化中發展，科技在爭議中進步。大數據分析工具作為重要的大數據應用技術而影響著未來大數據產業的發展，可謂舉足輕重。但只要順應時代發展和社會需求，大數據分析工具的前途還是一片明朗的。
⑼ 大數據面臨的技術挑戰
上周在大數據的趨勢和特點中，說到了人類這次面臨的問題不是問題無法解決，而是問題過於復雜。採用機械思維，其速度和效率已經趕不上新問題的產生。正是在這種分工越來越細，協作越來越緊密，問題越來越復雜的背景下，產生了大數據思維。大數據思維也由其獨特的體量大、多樣性和完備性，使得過去看來很復雜很難處理的問題變得可以解決了。
其實早在20世紀60年代就有研究學者提出採用人工智慧的方法來解決社會問題。當時的人工智慧方法還是局限於通過首先了解人類是如何產生智能，然後讓計算機按照人的思路去做。吳軍老師在《智能時代》中說到：「在人類發明的歷史上，很多領域早期的嘗試都是模仿人或者動物的行為，因為這是我們的直覺最容易想到的方法。」 但是經過十幾年的發展，科學家們發現採用上面的思路去發展人工智慧，似乎解決不了什麼實際問題。很多科學家開始反思人工智慧的發展，而在之後的20年左右的時間，在人工智慧學術界的研究是處於低谷的。20世紀70年代，人類開始嘗試智能的另一條發展道路，即採用數據驅動和超級計算的方法。即便在10年前，那時我還在念書，也曾接觸過人工神經網路演算法。很顯然，當時對機器智能的概念大家都還是比較模糊的，人工智慧也還沒有被我們提高到現在的高度。
機器智能的概念在60多年就被提出來了，真正的突破卻在具有了大數據的今天。為什麼大數據的拐點會發生在今天？大數據到底面臨何種技術挑戰？
過去的10年，最容易看到的特徵就是全球數據量呈爆炸式增長。大數據的第一個來源是電腦本身；第二個來源是感測器；第三個來源是將那些過去已經存在的、以非數字化形式儲存的信息數字化。據2015年思科公司的統計數據顯示，從2009~2015年的6年時間內，企業級數據增長了50倍。當然數據的爆炸式增長，離不開電腦硬體、軟體、互聯網、數據儲存、數據處理等一系列配套技術的發展和支撐。大數據實際上是對計算機科學、電機工程、通信、應用數學和認知科學發展的一個綜合考量。目前這些技術難題不一定有最佳的解決方案，甚至不存在什麼絕對好的解決辦法。
一、數據收集
傳統的數據方法常常是先有一個目的，然後開始收集數據。比如，海王星的發現就是在人們發現天王星運動軌跡和牛頓力學預測出來的不一樣之後，天文學家拍了很多星空的照片後發現的；心理學研究也是在有了一個明確的研究課題後，再通過實驗的方法採集數據，如 「棉花糖測驗」系列實驗，以及關於認知失調的「追隨者案例」等等。大數據則避免了采樣之苦，因為大數據常常以全集（大數據的特徵之一）作為樣本集。
但是，如何收集到全集就是一件很有挑戰的事情了。目前一些聰明公司，比如Google, Facebook, 網路，京東都是繞一個彎子，間接地去收集數據，然後利用數據的相關性，導出自己想要的結論。但是即便是這些如此成功的公司，仍然也有很多失敗的案例。2010年，Google推出了自己的電視機頂盒Google TV，為了獲取數據為進入電視廣告做准備。但是，由於Google TV銷售得很差，最終Google徹底地放棄了這產品。到目前為止，無論是Google過去的機頂盒，還是後來的Chromecast，蘋果的Apple TV，除了統計一下收視率，計算一下可能的廣告觀眾，並沒有什麼大的作為。數據收集是一個開放性的話題，不存在唯一性或最佳方法，目前仍然面臨著很大的挑戰。
二、數據儲存
僅Google街景地圖每天產生的數據量就有1TB，假如一份數據存三個拷貝，一年下來就1PB。即使使用當今最大容量的10TB硬碟，也需要用100個。因此，不能簡單地依靠設備來解決數據儲存的問題，而是需要技術解決方案來提高儲存效率，保證不斷產生出來的數據都能存得下。目前的數據儲存手段主要是從如下2個方面考慮：去除數據冗餘和便於使用。去除數據冗餘可以簡單理解為去除數據中的重復部分，比如同一份附件在所有的郵件中只儲存一次。這樣，在去除數據冗餘的過程中，相應的數據讀寫處理就要改變。是否有比現在更有效率的儲存格式或方式，仍然是大數據所面臨的挑戰。另外，便於使用的思路是從使用者的角度就去考慮數據的儲存。大數據之前，數據在設計文件系統的數據儲存格式時，主要考慮的是規模小、維度少的結構化數據。到了大數據時代，不僅數據量和維度都劇增，而且大數據在形式上也沒有固定模式，因此需要重新設計通用、有效和便捷的數據表示方式和儲存方式。
三、數據處理
大數據由於體量大、維度多，處理起來計算量巨大，其處理效率是一大技術挑戰。並行計算是目前解決計算量巨大的重要手段，但仍然存在一些的問題。例如，任何一個問題總用一部分計算是無法並行計算的，這類計算佔比越大，並行處理的效率就越低；再次，並行計算中無法保證每一個小任務的計算量是相同的，這樣一來，並行計算的效率也會大打折扣，即完成了自己計算任務的伺服器需要等待個別尚未完成的伺服器，最終的計算速度取決於最後完成的子任務。
四、數據挖掘
如何從一堆雜亂無章的數據中挖掘出有價值的信息，是機器智能的關鍵，也是大數據的使命。數據在進行降噪處理之後，基本就可以直接使用了，接下來的關鍵一步就是機器學習。目前廣泛使用的機器學習演算法有人工神經網路演算法、最大熵模型、邏輯自回歸等。Google公司的AlphaGo的訓練演算法就是人工神經網路。機器學習的過程是一個不斷迭代、不斷進化的過程，只要事先定出一個目前，這些演算法就會不斷地優化模型，讓它越來越接近真實的情況。尋找更優演算法一直也是科學家們探索的難題。
五、數據安全
大數據應用的一個挑戰還來自數據安全的擔憂和對隱私的訴求。2014年爆出的索尼公司丟失數據時，造成的損失高達1億美元。比商業數據丟失後損失更大的是醫療數據的被盜。在中國，除了在北京建立了大數據中心，還在貴陽建立了大數據災備中心，而且正籌備在內蒙古再建立另一個數據災備中心。而關於數據隱私，我想大家應該是深有感觸，由於信息泄露而帶來的騷擾電話以及電信詐騙，就發生在我們每個人身上。據《智能時代》中記載：「在美國的黑市上，一個醫療記錄的賣家是商業數據的50倍左右」。可見，數據安全已然成為大數據發展的一大隱患和難題。
上述大數據5個方面的技術挑戰並不是獨立的，而是相輔相成、互相影響的。關於大數據的技術挑戰在此僅談談個人的一點認識，希望對大家在這方面的思考有所幫助。下周我們繼續聊，大數據給我們帶來便利以及隱患。
⑽ 在當前大數據的新環境下it企業面臨哪些機會與挑戰
挑戰一：數據來源錯綜復雜，豐富的數據源是大數據產業發展的前提。而我國數字化的數據資源總量遠遠低於美歐。
挑戰二：數據挖掘分析模型建立，關於大數據分析，人們鼓吹其神奇價值的喧囂聲浪很高，卻鮮見其實際運用得法的模式和方法。
挑戰三：數據開放與隱私的權衡，目前我國一些部門和機構擁有大量數據但寧願自己不用也不願提供給有關部門共享，導致信息不完整或重復投資。
挑戰四：大數據管理與決策，在今時今日的商業世界中，高管的決策仍然更多地依賴個人經驗和直覺，而不是基於數據。
挑戰五：大數據人才缺口，精通大數據技術的相關人才也成為一個大缺口。