『壹』 大數據帶來的挑戰有哪些
挑戰：數據巨體量使信息管理本顯著增加
挑戰二：數據繁類型使信息效性驗證工作增加
挑戰二：數據繁類型使信息效性驗證工作增加
挑戰四：數據快速處理要求使獨立決策比例顯著降低
挑戰六：數據網路相放性使安全加固策略復雜性所降低
挑戰六：數據網路相放性使安全加固策略復雜性所降低
『貳』 大數據的發展所面臨的挑戰有哪些
挑戰一：業務來部門沒有清晰的大自數據需求。
挑戰二：企業內部數據孤島嚴重。
挑戰三：數據可用性低，數據質量差。
挑戰四：數據相關管理技術和架構。
挑戰五：數據安全。
『叄』 在當前大數據的新環境下 it企業面臨哪些機會與挑戰
挑戰一：數據來源錯綜復雜
豐富的數據源是大數據產業發展的前提。而我國數字化的數據資源總量遠遠低於美歐，每年新增數據量僅為美國的7%，歐洲的12%，其中政府和製造業的數據資源積累遠遠落後於國外。就已有有限的數據資源來說，還存在標准化、准確性、完整性低，利用價值不高的情況，這大大降低了數據的價值。
大數據時代，我們需要更加全面的數據來提高分析預測的准確度，因此我們就需要更多便捷、廉價、自動的數據生產工具。除了我們在網上使用的瀏覽器有意或者無意記載著個人的信息數據之外，手機、智能手錶、智能手環等各種可穿戴設備也在無時無刻地產生著數據；就連我們家裡的路由器、電視機、空調、冰箱、飲水機、凈化器等也開始越來越智能並且具備了聯網功能，這些家用電器在更好地服務我們的同時，也在產生著大量的數據；甚至我們出去逛街，商戶的WIFI,運營商的3G網路，無處不在的攝像頭電子眼，百貨大樓的自助屏幕，銀行的ATM，加油站以及遍布各個便利店的刷卡機等也都在產生著數據。
挑戰二：數據挖掘分析模型建立
步入大數據時代，人們紛紛在談論大數據，似乎這已經演化為新的潮流趨勢。數據比以往任何時候都更加根植於我們生活中的每個角落。我們試圖用數據去解決問題、改善福利，並且促成新的經濟繁榮。人們紛紛流露出去大數據的高期待以及對大數據分析技術的格外看好。然而，關於大數據分析，人們鼓吹其神奇價值的喧囂聲浪很高，卻鮮見其實際運用得法的模式和方法。造成這種窘境的原因主要有以下兩點：一是對於大數據分析的價值邏輯尚缺乏足夠深刻的洞察；其次便是大數據分析中的某些重大要件或技術還不成熟。大數據時代下數據的海量增長以及缺乏這種大數據分析邏輯以及大數據技術的待發展，正是大數據時代下我們面臨的挑戰。
大數據的大，一般人認為指的是它數據規模的海量。隨著人類在數據記錄、獲取及傳輸方面的技術革命，造成了數據獲得的便捷與低成本，這便使原有的以高成本方式獲得的描述人類態度或行為的、數據有限的小數據已然變成了一個巨大的、海量規模的數據包。這其實是一種片面認識。其實，前大數據時代也有海量的數據集，但由於其維度的單一，以及和人或社會有機活動狀態的剝離，而使其分析和認識真相的價值極為有限。大數據的真正價值不在於它的大，而在於它的全面：空間維度上的多角度、多層次信息的交叉復現；時間維度上的與人或社會有機體的活動相關聯的信息的持續呈現。
挑戰三：數據開放與隱私的權衡
數據應用的前提是數據開放，這已經是共識。有專業人士指出，中國人口居世界首位，但2010年中國新存儲的數據為250PB，僅為日本的60%和北美的7%。目前我國一些部門和機構擁有大量數據但寧願自己不用也不願提供給有關部門共享，導致信息不完整或重復投資。2012年中國的數據存儲量達到64EB，其中55%的數據需要一定程度的保護，然而目前只有不到一半的數據得到保護。
開放與隱私如何平衡，亦是一大難題。任何技術都是雙刃劍，大數據也不例外。如何在推動數據全面開放、應用和共享的同時有效地保護公民、企業隱私，逐步加強隱私立法，將是大數據時代的一個重大挑戰。
挑戰四：大數據管理與決策
大數據的技術挑戰顯而易見，但其帶來的決策挑戰更為艱巨。大數據至關重要的方面，就是它會直接影響組織怎樣作決策、誰來作決策。在信息有限、獲取成本高昂且沒有被數字化的時代，組織內作重大決策的人，都是典型的位高權重的人，要不然就是高價請來的擁有專業技能和顯赫履歷的外部智囊。但是，在今時今日的商業世界中，高管的決策仍然更多地依賴個人經驗和直覺，而不是基於數據。
大數據開發的根本目的是以數據分析為基礎，幫助人們做出更明智的決策，優化企業和社會運轉。哈佛商業評論說，大數據本質上是「一場管理革命」。大數據時代的決策不能僅憑經驗，而真正要「拿數據說話」。因此，大數據能夠真正發揮作用，深層次看，還要改善我們的管理模式，需要管理方式和架構的與大數據技術工具相適配。這或許是我們最難邁過的一道坎了。
挑戰五：大數據人才缺口
如果說，以Hadoop為代表的大數據是一頭小象，那麼企業必須有能夠馴服它的馴獸師。在很多企業熱烈擁抱這類大數據技術時，精通大數據技術的相關人才也成為一個大缺口。
大數據建設的每個環節都需要依靠專業人員完成，因此，必須培養和造就一支懂指揮、懂技術、懂管理的大數據建設專業隊伍。
『肆』 如何應對「大數據時代」的挑戰
大數據行業面臨的五大挑戰如下：
挑戰一：數據來源錯綜復雜
豐富的數據源是大數據產業發展的前提。而我國數字化的數據資源總量遠遠低於美歐，每年新增數據量僅為美國的7%，歐洲的12%，其中政府和製造業的數據資源積累遠遠落後於國外。就已有有限的數據資源來說，還存在標准化、准確性、完整性低，利用價值不高的情況，這大大降低了數據的價值。
現如今，幾乎任何規模企業，每時每刻也都在產生大量的數據，但這些數據如何歸集、提煉始終是一個困擾。而大數據技術的意義確實不在於掌握規模龐大的數據信息，而在於對這些數據進行智能處理，從中分析和挖掘出有價值的信息，但前提是如何獲取大量有價值的數據。
挑戰二：數據挖掘分析模型建立
步入大數據時代，人們紛紛在談論大數據，似乎這已經演化為新的潮流趨勢。數據比以往任何時候都更加根植於我們生活中的每個角落。我們試圖用數據去解決問題、改善福利，並且促成新的經濟繁榮。人們紛紛流露出去大數據的高期待以及對大數據分析技術的格外看好。然而，關於大數據分析，人們鼓吹其神奇價值的喧囂聲浪很高，卻鮮見其實際運用得法的模式和方法。造成這種窘境的原因主要有以下兩點：一是對於大數據分析的價值邏輯尚缺乏足夠深刻的洞察；其次便是大數據分析中的某些重大要件或技術還不成熟。大數據時代下數據的海量增長以及缺乏這種大數據分析邏輯以及大數據技術的待發展，正是大數據時代下我們面臨的挑戰。
挑戰三：數據開放與隱私的權衡
數據應用的前提是數據開放，這已經是共識。有專業人士指出，中國人口居世界首位，但2010年中國新存儲的數據為250PB，僅為日本的60%和北美的7%。目前我國一些部門和機構擁有大量數據但寧願自己不用也不願提供給有關部門共享，導致信息不完整或重復投資。2012年中國的數據存儲量達到64EB，其中55%的數據需要一定程度的保護，然而目前只有不到一半的數據得到保護。
挑戰四：大數據管理與決策
大數據的技術挑戰顯而易見，但其帶來的決策挑戰更為艱巨。大數據至關重要的方面，就是它會直接影響組織怎樣作決策、誰來作決策。在信息有限、獲取成本高昂且沒有被數字化的時代，組織內作重大決策的人，都是典型的位高權重的人，要不然就是高價請來的擁有專業技能和顯赫履歷的外部智囊。但是，在今時今日的商業世界中，高管的決策仍然更多地依賴個人經驗和直覺，而不是基於數據。
挑戰五：大數據人才缺口
如果說，以Hadoop為代表的大數據是一頭小象，那麼企業必須有能夠馴服它的馴獸師。在很多企業熱烈擁抱這類大數據技術時，精通大數據技術的相關人才也成為一個大缺口。
『伍』 中國大數據行業發展的挑戰有哪些
挑戰一：大數據行業發展良莠不濟
我國大數據仍處於起步發展階段，在「萬眾創新，大眾創業」的大環境下，大量的大數據企業不斷涌現，但企業發展良莠不濟。
挑戰二：大數據創新、創業盲目
企業在創新、創業過程，由於缺乏對大數據產業鏈的認識，出現許多跟風扎堆的情況，沒有有效發揮自身優勢，造成巨大的資源浪費。創新的時候，我們往往會看到一些標桿出來。通俗來講，看到人家風光，沒有看到人家背後受罪的時候。往往一窩蜂跟去的時候就會發現全是坑，而且
「此去華山一條道」，滿滿的全是競爭對手。因此我們做這個排行的初衷就是為大家梳理一下，哪些行業、哪些板塊、哪些領域是什麼樣的狀況，精確的找到自己的優勢方向，去做創新和努力。
挑戰三：投資盲目
霍華德.馬克思說過「投資者們明確達成的廣泛共識差不多都是錯的」。究其原因是資本在選擇大數據項目、企業的時候，由於沒有客觀的評價標准，同時也缺乏對產業鏈的整體認知，導致投資市場追逐熱點，存在一定的盲目性，大大降低了資本對大數據行業發展的正向推動力。
挑戰四：監管的盲目性
目前，監管層很難對大數據企業和機構進行有效的監管以及正確引導，要為大數據發展打造一個良性的生態環境就比較困難。其核心原因是對大數據企業的識別評價缺乏標准和規范。
挑戰五：大數據項目建設盲目
由於人才缺乏、大數據咨詢服務還沒有發展起來等原因，用戶很難對大數據項目有全面的認識，容易受到廠商的左右，導致建設內容的盲目;由於缺乏對產業的整體認識和大數據企業評價標准、方法，所以在大數據服務商選擇上也存在一定的盲目性。
『陸』 在當前大數據的新環境下it企業面臨哪些機會與挑戰
挑戰一：數據來源錯綜復雜，豐富的數據源是大數據產業發展的前提。而我國數字化的數據資源總量遠遠低於美歐。
挑戰二：數據挖掘分析模型建立，關於大數據分析，人們鼓吹其神奇價值的喧囂聲浪很高，卻鮮見其實際運用得法的模式和方法。
挑戰三：數據開放與隱私的權衡，目前我國一些部門和機構擁有大量數據但寧願自己不用也不願提供給有關部門共享，導致信息不完整或重復投資。
挑戰四：大數據管理與決策，在今時今日的商業世界中，高管的決策仍然更多地依賴個人經驗和直覺，而不是基於數據。
挑戰五：大數據人才缺口，精通大數據技術的相關人才也成為一個大缺口。
『柒』 我國大數據戰略實施面臨的五大挑戰
我國大數據戰略實施面臨的五大挑戰
一、我國實施國家大數據戰略的新成效
近幾年，在國家政策支持下，我國大數據戰略取得多方面成效：
一是產業集聚效應初步顯現。國家八個大數據綜合實驗區建設促進了具有地方特色產業集聚。京津冀和珠三角跨區綜合試驗區，注重數據要素流通;上海、重慶、河南和沈陽試驗區，注重數據資源統籌和產業集聚;內蒙的基礎設施統籌發展，充分發揮能源、氣候等條件，加快實現大數據跨越發展。
二是新業態新模式不斷涌現。我國在大數據應用方面位於世界前列，特別是在服務業領域，如基於大數據的互聯網金融及精準營銷迅速普及;在智慧物流交通領域，通過為貨主、乘客與司機提供實時數據匹配，提升了物流交通效率。
三是與傳統產業融合步伐加快。鐵路、電力和製造業等加快了運用信息技術和大數據的步伐。高鐵推出「高鐵線上訂餐」等服務，提升了乘客體驗。電力企業推廣智能電表，提高了企業利潤。三一重工、航天科工、海爾等一批企業將自身積累的智能製造能力，向廣大中小企業輸出解決方案，著手建設工業互聯網平台。
四是技術創新取得顯著進展。互聯網龍頭企業伺服器單集群規模達到上萬台，具備了建設和運維超大規模大數據平台的技術實力，並以雲服務向外界開放自身技術服務能力和資源。在深度學習、人工智慧、語音識別等前沿領域，我國企業積極布局，搶占技術制高點。
五是產業規模快速增長。2016年我國包括大數據核心軟硬體產品和大數據服務在內的市場規模達到3100億元。預計2017年有望達到4185億元。未來2-3年市場規模的增長率將保持在35%左右。未來5年，年均增長率將超過50%。
六是一批企業快速成長。主要分為三類：一類是已經有獲取大數據能力、具有一定國際影響力的公司，如網路、騰訊、阿里巴巴等互聯網巨頭;二是以華為、浪潮、中興、曙光、用友等為代表的電子信息通信廠商;三是以億贊普、拓爾思、九次方等為代表的大數據服務新興企業。
七是法治法規建設全面推進。先後制定和出台《全國人大常委會關於加強網路信息保護的決定》《全國人大常委會關於加強網路信息保護的決定》《電信和互聯網用戶個人信息保護規定》《電話用戶真實身份信息登記規定(部令第25號)》《中華人民共和國網路安全法》等文件，保障用戶隱私和合法權益。
二、我國實施國家大數據戰略面臨的挑戰
一是數據權屬不清晰，數據流通和利用混亂。大數據帶來了復雜的權責關系，產生數據的個人、企業、非政府組織和政府機構，擁有數據存取實際管理權的雲服務提供商和擁有數據法律和行政管轄權的政府機構，在大數據問題上的法律權責不明確，數據產權承認和保護存在盲點，阻礙了數據有效流通。
二是數據爆炸式增長與數據有效利用矛盾突出。當前面臨的問題不是數據缺乏，而是數據快速增長與數據有效存儲和利用之間矛盾日益突出。數據呈爆炸式增長，每兩年數據量翻10倍，而摩爾定律已接近極限，硬體性能提升難以應對海量數據增長。
三是企業與政府數據雙向共享機制缺乏。目前，我國政府、少數互聯網企業和行業龍頭企業掌握了大部分數據資源，但數據歸屬處於模糊狀態，法律規定不明確，政府與企業數據資源雙向共享不夠。
四是發展一哄而上，存在過度競爭傾向。截止2017年1月，全國37個省、市出台大數據發展規劃，90%提出要統籌建設政府和行業數據中心，有12個省市提出建設面向全國的大數據產業中心，有14省(市)合計產值目標過2.8萬億元，遠遠超過工信部提出到2020年1萬億元大數據產值發展目標。
五是安全問題日益凸顯。截至2017年7月，全國共偵破侵犯公民個人信息案件和黑客攻擊破壞案件1800餘起，抓獲犯罪嫌疑人4800餘名，查獲竊取的各類公民個人信息500多億條。烏克蘭電力系統和伊朗核設施遭遇網路攻擊，也給我國電力、石油、化工、鐵路等重要信息系統安全敲響了警鍾。
三、 更好實施我國國家大數據戰略政策建議
按照十九大精神，要著力推動大數據與實體經濟深度融合，建設數字中國和智慧社會，實現網路強國的目標，需要從政府、企業、社會組織和個人等統籌推動國家大數據戰略落實。
(一)完善機制與制度，更好發揮政府作用。在體制機制方面，建議設立由國務院領導擔任組長的國家大數據戰略領導小組，負責組織領導、統籌協調全國大數據發展。領導小組下設辦公室和大數據專家咨詢委員會。
在法規建設方面，加快制定《大數據管理條例》，鼓勵行業組織制定和發布《大數據挖掘公約》和《大數據職業操守公約》，在條件成熟時啟動《數據法》立法，明確數據權屬，培育大數據市場，加快數據作為生產要素規范流通。
在產業政策方面，出台數字經濟優惠政策，創新數字經濟監管模式，加強重點人群大數據應用能力培訓，創造更多就業。
在試點示範方面，在環境治理、食品安全、市場監管、健康醫療、社保就業、教育文化、交通旅遊、工業製造等領域開展大數據試點應用，以點帶面提升大數據應用能力。
在資源共享方面，按照「邏輯統一、物理分散」原則，通過建設國家一體化大數據中心和國家互聯網大數據平台，探索政府與企業數據資源雙向共享機制。
在發展環境方面，著力部署下一代新基礎設施，加快我國信息基礎設施優化升級，制定政府大數據開發與利用的「負面清單」「權力清單」和「責任清單」，建立統計和評估指標體系，營造良好的輿論環境，防止炒作大數據概念，引導全國大數據健康有序發展。
在數據安全方面，加快落實《中華人民共和國網路安全法》，建立國家關鍵基礎設施信息安全保護制度，明確監管機構的關鍵基礎設施行業主管部門的信息安全監督管理職責，加快推動國產軟硬體的應用推廣，提升安全可控水平。
(二)對企業分類施策，發揮市場資源配置決定性作用。一是發揮互聯網龍頭企業引領和帶動作用。網路、騰訊、阿里、京東為代表的龍頭企業技術和人才儲備雄厚，具有強大的數據資源收集、存儲、計算和分析能力，成為我國大數據技術進步的主要推動力。應像使用電、水、交通等傳統基礎設施一樣，互聯網龍頭企業向各行業提供高性能和低成本的大數據服務，幫助傳統企業提升效率，提升核心競爭力。
二是發揮重要行業龍頭企業數據和用戶優勢。我國電力、交通、金融等諸多行業龍頭集聚了海量用戶和數據，是未來我國大數據戰略實施的主戰場和大數據價值真正「鑽石礦」。應發揮鐵路、電力、金融等重要行業龍頭企業優勢，通過與互聯網龍頭企業深度合作，利用其技術優勢，深度挖掘數據資源，提升自身核心競爭力，並幫助中小企業發展。
三是發揮通信運營商生力軍作用，為大數據發展提供基礎性戰略性資源。我國移動、電信、聯通等擁有全球最多的電話用戶，積累了海量數據，是我國信息社會的戰略性資源。應充分發揮自身在網路方面的優勢，推動移動互聯網、雲計算、大數據、物聯網等與行業結合，助力智慧城市、交通、能源、教育、醫療、製造、旅遊等行業的創新和發展。
(三)激發社會組織活力，構建新型協作關系。構建政府和社會組織互動的信息採集、共享和應用協作機制，提高社會組織大數據應用意識和能力，與具有大數據技術的企業合作，提高社會事業精準化水平和資金使用效率。針對發展需要、重視科技引領，整合廣大科研機構和事業單位力量，加強大數據基礎理論、方法和技術研究，推動關鍵技術突破。
(四)提升公民數據意識和能力，推動「數字公民」建設。通過給每位公民一個數字身份，方便公民獲取個性化、智慧化精準服務，提高政府公共服務的精準度與實效性，推動社會治理向精細化、智慧化轉變。要提高公民數據素養，增強公民數據權利意識，提高大數據應用能力。
『捌』 大數據時代的數據分析技術面臨的挑戰
數據分析是整個大數據處理流程的核心，大數據的價值產生於分析過程。從異構數據源抽取和集成的數據構成了數據分析的原始數據。根據不同應用的需求可以從這些數據中選擇全部或部分進行分析。小數據時代的分析技術，如統計分析、數據挖掘和機器學習等，並不能適應大數據時代數據分析的需求，必須做出調整。
大數據時代的數據分析技術面臨著一些新的挑戰，主要有以下幾點。
（1）數據量大並不一定意味著數據價值的增加，相反這往往意味著數據噪音的增多。因此，在數據分析之前必須進行數據清洗等預處理工作，但是預處理如此大量的數據，對於計算資源和處理演算法來講都是非常嚴峻的考驗。
（2）大數據時代的演算法需要進行調整。首先，大數據的應用常常具有實時性的特點，演算法的准確率不再是大數據應用的最主要指標。在很多場景中，演算法需要在處理的實時性和准確率之間取得一個平衡。其次，分布式並發計算系統是進行大數據處理的有力工具，這就要求很多演算法必須做出調整以適應分布式並發的計算框架，演算法需要變得具有可擴展性。許多傳統的數據挖掘演算法都是線性執行的，面對海量的數據很難在合理的時間內獲取所需的結果。因此需要重新把這些演算法實現成可以並發執行的演算法，以便完成對大數據的處理。最後，在選擇演算法處理大數據時必須謹慎，當數據量增長到一定規模以後，可以從小量數據中挖掘出有效信息的演算法並一定適用於大數據。
（3）數據結果的衡量標准。對大數據進行分析比較困難，但是對大數據分析結果好壞的衡量卻是大數據時代數據分析面臨的更大挑戰。大數據時代的數據量大，類型混雜，產生速度快，進行分析的時候往往對整個數據的分布特點掌握得不太清楚，從而會導致在設計衡量的方法和指標的時候遇到許多困難。
『玖』 大數據面臨的技術挑戰
上周在大數據的趨勢和特點中，說到了人類這次面臨的問題不是問題無法解決，而是問題過於復雜。採用機械思維，其速度和效率已經趕不上新問題的產生。正是在這種分工越來越細，協作越來越緊密，問題越來越復雜的背景下，產生了大數據思維。大數據思維也由其獨特的體量大、多樣性和完備性，使得過去看來很復雜很難處理的問題變得可以解決了。
其實早在20世紀60年代就有研究學者提出採用人工智慧的方法來解決社會問題。當時的人工智慧方法還是局限於通過首先了解人類是如何產生智能，然後讓計算機按照人的思路去做。吳軍老師在《智能時代》中說到：「在人類發明的歷史上，很多領域早期的嘗試都是模仿人或者動物的行為，因為這是我們的直覺最容易想到的方法。」 但是經過十幾年的發展，科學家們發現採用上面的思路去發展人工智慧，似乎解決不了什麼實際問題。很多科學家開始反思人工智慧的發展，而在之後的20年左右的時間，在人工智慧學術界的研究是處於低谷的。20世紀70年代，人類開始嘗試智能的另一條發展道路，即採用數據驅動和超級計算的方法。即便在10年前，那時我還在念書，也曾接觸過人工神經網路演算法。很顯然，當時對機器智能的概念大家都還是比較模糊的，人工智慧也還沒有被我們提高到現在的高度。
機器智能的概念在60多年就被提出來了，真正的突破卻在具有了大數據的今天。為什麼大數據的拐點會發生在今天？大數據到底面臨何種技術挑戰？
過去的10年，最容易看到的特徵就是全球數據量呈爆炸式增長。大數據的第一個來源是電腦本身；第二個來源是感測器；第三個來源是將那些過去已經存在的、以非數字化形式儲存的信息數字化。據2015年思科公司的統計數據顯示，從2009~2015年的6年時間內，企業級數據增長了50倍。當然數據的爆炸式增長，離不開電腦硬體、軟體、互聯網、數據儲存、數據處理等一系列配套技術的發展和支撐。大數據實際上是對計算機科學、電機工程、通信、應用數學和認知科學發展的一個綜合考量。目前這些技術難題不一定有最佳的解決方案，甚至不存在什麼絕對好的解決辦法。
一、數據收集
傳統的數據方法常常是先有一個目的，然後開始收集數據。比如，海王星的發現就是在人們發現天王星運動軌跡和牛頓力學預測出來的不一樣之後，天文學家拍了很多星空的照片後發現的；心理學研究也是在有了一個明確的研究課題後，再通過實驗的方法採集數據，如 「棉花糖測驗」系列實驗，以及關於認知失調的「追隨者案例」等等。大數據則避免了采樣之苦，因為大數據常常以全集（大數據的特徵之一）作為樣本集。
但是，如何收集到全集就是一件很有挑戰的事情了。目前一些聰明公司，比如Google, Facebook, 網路，京東都是繞一個彎子，間接地去收集數據，然後利用數據的相關性，導出自己想要的結論。但是即便是這些如此成功的公司，仍然也有很多失敗的案例。2010年，Google推出了自己的電視機頂盒Google TV，為了獲取數據為進入電視廣告做准備。但是，由於Google TV銷售得很差，最終Google徹底地放棄了這產品。到目前為止，無論是Google過去的機頂盒，還是後來的Chromecast，蘋果的Apple TV，除了統計一下收視率，計算一下可能的廣告觀眾，並沒有什麼大的作為。數據收集是一個開放性的話題，不存在唯一性或最佳方法，目前仍然面臨著很大的挑戰。
二、數據儲存
僅Google街景地圖每天產生的數據量就有1TB，假如一份數據存三個拷貝，一年下來就1PB。即使使用當今最大容量的10TB硬碟，也需要用100個。因此，不能簡單地依靠設備來解決數據儲存的問題，而是需要技術解決方案來提高儲存效率，保證不斷產生出來的數據都能存得下。目前的數據儲存手段主要是從如下2個方面考慮：去除數據冗餘和便於使用。去除數據冗餘可以簡單理解為去除數據中的重復部分，比如同一份附件在所有的郵件中只儲存一次。這樣，在去除數據冗餘的過程中，相應的數據讀寫處理就要改變。是否有比現在更有效率的儲存格式或方式，仍然是大數據所面臨的挑戰。另外，便於使用的思路是從使用者的角度就去考慮數據的儲存。大數據之前，數據在設計文件系統的數據儲存格式時，主要考慮的是規模小、維度少的結構化數據。到了大數據時代，不僅數據量和維度都劇增，而且大數據在形式上也沒有固定模式，因此需要重新設計通用、有效和便捷的數據表示方式和儲存方式。
三、數據處理
大數據由於體量大、維度多，處理起來計算量巨大，其處理效率是一大技術挑戰。並行計算是目前解決計算量巨大的重要手段，但仍然存在一些的問題。例如，任何一個問題總用一部分計算是無法並行計算的，這類計算佔比越大，並行處理的效率就越低；再次，並行計算中無法保證每一個小任務的計算量是相同的，這樣一來，並行計算的效率也會大打折扣，即完成了自己計算任務的伺服器需要等待個別尚未完成的伺服器，最終的計算速度取決於最後完成的子任務。
四、數據挖掘
如何從一堆雜亂無章的數據中挖掘出有價值的信息，是機器智能的關鍵，也是大數據的使命。數據在進行降噪處理之後，基本就可以直接使用了，接下來的關鍵一步就是機器學習。目前廣泛使用的機器學習演算法有人工神經網路演算法、最大熵模型、邏輯自回歸等。Google公司的AlphaGo的訓練演算法就是人工神經網路。機器學習的過程是一個不斷迭代、不斷進化的過程，只要事先定出一個目前，這些演算法就會不斷地優化模型，讓它越來越接近真實的情況。尋找更優演算法一直也是科學家們探索的難題。
五、數據安全
大數據應用的一個挑戰還來自數據安全的擔憂和對隱私的訴求。2014年爆出的索尼公司丟失數據時，造成的損失高達1億美元。比商業數據丟失後損失更大的是醫療數據的被盜。在中國，除了在北京建立了大數據中心，還在貴陽建立了大數據災備中心，而且正籌備在內蒙古再建立另一個數據災備中心。而關於數據隱私，我想大家應該是深有感觸，由於信息泄露而帶來的騷擾電話以及電信詐騙，就發生在我們每個人身上。據《智能時代》中記載：「在美國的黑市上，一個醫療記錄的賣家是商業數據的50倍左右」。可見，數據安全已然成為大數據發展的一大隱患和難題。
上述大數據5個方面的技術挑戰並不是獨立的，而是相輔相成、互相影響的。關於大數據的技術挑戰在此僅談談個人的一點認識，希望對大家在這方面的思考有所幫助。下周我們繼續聊，大數據給我們帶來便利以及隱患。
『拾』 大數據工程面臨挑戰有哪些
基礎平台的改變
首先大數據挑戰的就是企業的存儲系統，大數據爆炸式的增長使得存儲系統的容量、擴展能力、傳輸瓶頸等方面都面臨著挑戰。與之相連的還有伺服器的計算能力，內存的存儲能力等等都面臨著新的技術攻關。目前快閃記憶體技術的發展以及英特爾、IBM等公司在大數據方面都已經投入相當大的資金進行研發，主要也是為了解決大數據對基礎平台所帶來的挑戰。
商業模式的挑戰
大數據具有強大的數據價值，當我們可以利用大數據挖掘到需要信息的時候，則需要我們根據得到的信息對企業的商業模型、產品和服務等方面進行創新，這樣才能夠真正的讓大數據的價值得到體現。