㈠ 大數據發展時代的7個挑戰和8大趨勢
大數據發展時代的7個挑戰和8大趨勢
大數據挑戰和機遇並存，大數據在未來幾年的發展將從前幾年的預期膨脹階段、炒作階段轉入理性發展階段、落地應用階段，大數據在未來幾年將逐漸步入理性發展期。未來的大數據發展依然存在諸多挑戰，但前景依然非常樂觀。
大數據發展的挑戰
目前大數據的發展依然存在諸多挑戰，包括七大方面的挑戰：業務部門沒有清晰的大數據需求導致數據資產逐漸流失；企業內部數據孤島嚴重，導致數據價值不能充分挖掘；數據可用性低，數據質量差，導致數據無法利用；數據相關管理技術和架構落後，導致不具備大數據處理能力；數據安全能力和防範意識差，導致數據泄露；大數據人才缺乏導致大數據工作難以開展；大數據越開放越有價值，但缺乏大數據相關的政策法規，導致數據開放和隱私之間難以平衡，也難以更好的開放。
>>>>挑戰一：業務部門沒有清晰的大數據需求
很多企業業務部門不了解大數據，也不了解大數據的應用場景和價值，因此難以提出大數據的准確需求。由於業務部門需求不清晰，大數據部門又是非盈利部門，企業決策層擔心投入比較多的成本，導致了很多企業在搭建大數據部門時猶豫不決，或者很多企業都處於觀望嘗試的態度，從根本上影響了企業在大數據方向的發展，也阻礙了企業積累和挖掘自身的數據資產，甚至由於數據沒有應用場景，刪除很多有價值歷史數據，導致企業數據資產流失。因此，這方面需要大數據從業者和專家一起，推動和分享大數據應用場景，讓更多的業務人員了解大數據的價值。
>>>>挑戰二：企業內部數據孤島嚴重
企業啟動大數據最重要的挑戰是數據的碎片化。在很多企業中尤其是大型的企業，數據常常散落在不同部門，而且這些數據存在不同的數據倉庫中，不同部門的數據技術也有可能不一樣，這導致企業內部自己的數據都沒法打通。如果不打通這些數據，大數據的價值則非常難挖掘。大數據需要不同數據的關聯和整合才能更好的發揮理解客戶和理解業務的優勢。如何將不同部門的數據打通，並且實現技術和工具共享，才能更好的發揮企業大數據的價值。
>>>>挑戰三：數據可用性低，數據質量差
很多中型以及大型企業，每時每刻也都在產生大量的數據，但很多企業在大數據的預處理階段很不重視，導致數據處理很不規范。大數據預處理階段需要抽取數據把數據轉化為方便處理的數據類型，對數據進行清洗和去噪，以提取有效的數據等操作。甚至很多企業在數據的上報就出現很多不規范不合理的情況。以上種種原因，導致企業的數據的可用性差，數據質量差，數據不準確。而大數據的意義不僅僅是要收集規模龐大的數據信息，還有對收集到的數據進行很好的預處理處理，才有可能讓數據分析和數據挖掘人員從可用性高的大數據中提取有價值的信息。Sybase的數據表明，高質量的數據的數據應用可以顯著提升企業的商業表現，數據可用性提高10%，企業的業績至少提升在10%以上。
>>>>挑戰四：數據相關管理技術和架構
技術架構的挑戰包含以下幾方面：(1)傳統的資料庫部署不能處理TB級別的數據，快速增長的數據量超越了傳統資料庫的管理能力。如何構建分布式的數據倉庫，並可以方便擴展大量的伺服器成為很多傳統企業的挑戰；(2)很多企業採用傳統的資料庫技術，在設計的開始就沒有考慮數據類別的多樣性，尤其是對結構化數據、半結構化和非結構化數據的兼容；(3)傳統企業的資料庫，對數據處理時間要求不高，這些數據的統計結果往往滯後一天或兩天才能統計出來。但大數據需要實時處理數據，進行分鍾級甚至是秒級計算。傳統的資料庫架構師缺乏實時數據處理的能力；(4)海量的數據需要很好的網路架構，需要強大的數據中心來支撐，數據中心的運維工作也將成為挑戰。如何在保證數據穩定、支持高並發的同時，減少伺服器的低負載情況，成為海量數據中心運維的一個重點工作。
>>>>挑戰五：數據安全
網路化生活使得犯罪分子更容易獲得關於人的信息，也有了更多不易被追蹤和防範的犯罪手段，可能會出現更高明的騙局。如何保證用戶的信息安全成為大數據時代非常重要的課題。在線數據越來越多，黑客犯罪的動機比以往都來的強烈，一些知名網站密碼泄露、系統漏洞導致用戶資料被盜等個人敏感信息泄露事件已經警醒我們，要加強大數據網路安全的建設。另外，大數據的不斷增加，對數據存儲的物理安全性要求會越來越高，從而對數據的多副本與容災機制也提出更高的要求。目前很多傳統企業的數據安全令人擔憂。
>>>>挑戰六：大數據人才缺乏
大數據建設的每個環節都需要依靠專業人員完成，因此，必須培養和造就一支掌握大數據技術、懂管理、有大數據應用經驗的大數據建設專業隊伍。目前大數據相關人才的欠缺將阻礙大數據市場發展。據Gartner預測，到2015年，全球將新增440萬個與大數據相關的工作崗位，且會有25%的組織設立首席數據官職位。大數據的相關職位需要的是復合型人才，能夠對數學、統計學、數據分析、機器學習和自然語言處理等多方面知識綜合掌控。未來，大數據將會出現約100萬的人才缺口，在各個行業大數據中高端人才都會成為最炙手可熱的人才，涵蓋了大數據的數據開發工程師、大數據分析師、數據架構師、大數據後台開發工程師、演算法工程師等多個方向。因此需要高校和企業共同努力去培養和挖掘。目前最大的問題是很多高校缺乏大數據，所以擁有大數據的企業應該與學校聯合培養人才。
>>>>挑戰七：數據開放與隱私的權衡
在大數據應用日益重要的今天，數據資源的開放共享已經成為在數據大戰中保持優勢的關鍵。商業數據和個人數據的共享應用，不僅能促進相關產業的發展，也能給我們的生活帶來巨大的便利。由於政府、企業和行業信息化系統建設往往缺少統一規劃，系統之間缺乏統一的標准，形成了眾多「信息孤島」，而且受行政壟斷和商業利益所限，數據開放程度較低，這給數據利用造成極大障礙。另外一個制約我國數據資源開放和共享的一個重要因素是政策法規不完善，大數據挖掘缺乏相應的立法。無法既保證共享又防止濫用。因此，建立一個良性發展的數據共享生態系統，是我國大數據發展需要邁過去的一道砍。同時，開放與隱私如何平衡，也是大數據開放過程中面臨的最大難題。如何在推動數據全面開放、應用和共享的同時有效地保護公民、企業隱私，逐步加強隱私立法，將是大數據時代的一個重大挑戰。
大數據發展趨勢
雖然大數據仍在起步階段，存在諸多挑戰，但未來的發展依然非常樂觀。大數據的發展呈現八大趨勢：數據資源化，將成為最有價值的資產；大數據在更多的傳統行業的企業管理落地；大數據和傳統商業智能融合，行業定製化解決方案將涌現；數據將越來越開放，數據共享聯盟將出現；大數據安全越來越受重視，大數據安全市場將愈發重要；大數據促進智慧城市發展，為智慧城市的引擎；大數據將催生一批新的工作崗位和相應的專業；大數據在多方位改善我們的生活。
>>>>趨勢一：數據資源化，將成為最有價值的資產
隨著大數據應用的發展，大數據價值得以充分的體現，大數據在企業和社會層面成為重要的戰略資源，數據成為新的戰略制高點，是大家搶奪的新焦點。《華爾街日報》在一份題為《大數據，大影響》的報告宣傳，數據已經成為一種新的資產類別，就像貨幣或黃金一樣。Google、Facebook、亞馬遜、騰訊、網路、阿里巴巴和360等企業正在運用大數據力量獲得商業上更大的成功，並且金融和電信企業也在運用大數據來提升自己的競爭力。我們有理由相信大數據將不斷成為機構和企業的資產，成為提升機構和企業競爭力的有力武器。
>>>>趨勢二：大數據在更多的傳統行業的企業管理落地
一種新的技術往往在少數行業應用取得了好的效果，對其他行業就有強烈的示範效應。目前大數據在大型互聯網企業已經得到較好的應用，其他行業的大數據尤其是電信和金融也逐漸在多種應用場景取得效果。因此，我們有理由相信，大數據作為一種從數據中創造新價值的工具，將會在許多行業的企業得到應用，帶來廣泛的社會價值。大數據將在幫助企業更好的理解和滿足客戶需求和潛在需求，更好的應用在業務運營智能監控、精細化企業運營、客戶生命周期管理、精細化營銷、經營分析和戰略分析等方面。企業管理既有藝術也有科學，相信大數據在科學管理企業方面有更顯著的促進，讓更多擁抱大數據的企業實現智慧企業管理。
>>>>趨勢三：大數據和傳統商業智能融合，行業定製化解決方案將涌現
來自傳統商業智能領域者將大數據當成一個新增的數據源，而大數據從業者則認為傳統商業智能只是其領域中處理少量數據時的一種方法。大數據用戶更希望能獲得一種整體的解決方案，即不僅要能收集、處理和分析企業內部的業務數據，還希望能引入互聯網上的網路瀏覽、微博、微信等非結構化數據。除此之外，還希望能結合移動設備的位置信息，這樣企業就可以形成一個全面、完整的數據價值發展平台。畢竟，無論是大數據還是商業智能，目的都是為分析服務的，數據全面整合起來，更有利於發現新的商業機會，這就是大數據商業智能。同時，由於行業的差異性，很難研發出一套適用於各行業的大數據商業智能分析系統，因此，在一些規模較大的行業市場，大數據服務提供商將會以更加定製化的商業智能解決方案提供大數據服務。我們相信更多的大數據商業智能定製化解決方案將在電信、金融、零售等行業出現。
>>>>趨勢四：數據將越來越開放，數據共享聯盟將出現
大數據越關聯越有價值，越開放越有價值。尤其是公共事業和互聯網企業的數據開放數據將越來越多。我們看到，美國、英國、澳大利亞等國家的政府都在政府和公共事業上的數據做出努力。而國內的一些城市和部門也在逐漸開展數據開放的工作。比如北京市在2012年就開始試運行政務數據資源網，在2013年年底正式開放；上海在2012年啟動了政府數據資源開放試點工作，數據涉及地理位置、交通、經濟統計和資格資質等數據；2014年，貴州省也加入數據開放之列，10月份雲上貴州正式上線。對於不同的行業，數據越共享也是越有價值。如果每一個醫院想獲得更多病情特徵庫以及葯效信息，那麼就需要全國，甚至全世界的醫療信息共享，從而可以通過平台進行分析，獲取更大的價值。我們相信數據會呈現一種共享的趨勢，不同領域的數據聯盟將出現。
>>>>趨勢五：大數據安全越來越受重視，大數據安全市場將愈發重要
隨著數據的價值的越來越重要，大數據的安全穩定也將會逐漸被重視。網路和數字化生活也使得犯罪的分子更容易獲取關於他人的信息，也有更多的騙術和犯罪手段出現，所以，在大數據時代，無論對於數據本身的保護，還是對於由數據而演變的一些信息的安全，對大數據分析有較高要求的企業將至關重要。大數據安全是跟大數據業務相對應的，與傳統安全相比，大數據安全的最大區別是安全廠商在思考安全問題的時候首先要進行業務分析，並且找出針對大數據的業務的威脅，然後提出有針對性的解決方案。比如，對於數據存儲這個場景，目前很多企業採用開源軟體如Hadoop技術來解決大數據問題，由於其開源性，但是其安全問題也是突出的。因此，市場需要更多專業的安全廠商針對不同的大數據安全問題來提供專業的服務。
>>>>趨勢六：大數據促進智慧城市發展，為智慧城市的引擎
隨著大數據的發展，大數據在智慧城市將發揮著越來越重要的作用。由於人口聚集給城市帶來了交通、醫療、建築等各方面的壓力，需要城市能夠更合理地進行資源布局和調配，而智慧城市正是城市治理轉型的最優解決方案。智慧城市是通過物與物、物與人、人與人的互聯互通能力、全面感知能力和信息利用能力，通過物聯網、移動互聯網、雲計算等新一代信息技術，實現城市高效的政府管理、便捷的民生服務、可持續的產業發展。智慧城市相對於之前數字城市概念，最大的區別在於對感知層獲取的信息進行了智慧的處理。由城市數字化到城市智慧化，關鍵是要實現對數字信息的智慧處理，其核心是引入了大數據處理技術。大數據是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧醫療、智慧城管等，都是以大數據為基礎的的智慧城市應用領域。
>>>>趨勢七：大數據將催生一批新的工作崗位和相應的專業
一個新行業的出現，必將在工作職位方面有新的需求，大數據的出現也將推出一批新的就業崗位，例如，大數據分析師、數據管理專家、大數據演算法工程師、數據產品經理等等。具有有豐富經驗的數據分析人才將成為稀缺的資源，數據驅動型工作將呈現爆炸式的增長。而由於有強烈的市場需求，高校也將逐步開設大數據相關的專業，以培養相應的專業人才。企業也將和高校緊密合作，協助高校聯合培養大數據人才。如2014年，IBM 全面推進與高校在大數據領域的合作，引入強大的研發團隊和業務夥伴，推動「大數據平台」和「大數據分析」的面向行業產學研創新合作以及系統化知識體系建設和高價值人才培養，建設符合中國教學特色及人才需求的大數據相關學分課程，為未來建設特色專業方向做准備。
>>>>趨勢八：大數據在多方位改善我們的生活
大數據不僅用於企業和政府，也應用於我們的生活。在健康方面：我們可以利用智能手環監測，對我們的睡眠模式來進行追蹤，了解睡眠質量；我們可以利用智能血壓計、智能心率儀遠程的監控身在異地的家裡老人的健康情況，讓遠在他方的外出工作者更加放心；在出行方面：我們可以利用智能導航出行GPS數據了解交通狀況，並根據擁堵情況進行路線實時調優。在居家生活方面：大數據將成為智能家居的核心，智能家電實現了擬人智能，產品通過感測器和控制晶元來捕捉和處理信息，可以根據住宅空間環境和用戶需求自動設置控制，甚至提出優化生活質量的建議，如我們的冰箱可能會在每天一大早建議我們當天的菜譜。
㈡ 大數據應用都面臨哪些挑戰
第一個挑戰就是對數據資源及其價值的認識不足。這是因為全社會尚未形成對大數據客觀、科學的認識，對數據資源及其在人類生產、生活和社會管理方面的價值利用認識不足，存在盲目追逐硬體設施投資、輕視數據資源積累和價值挖掘利用等現象。所以說這是我國大數據長期內最大的挑戰，但也是比較容易實現的目標。
第二個挑戰就是技術創新與支撐能力不夠。這主要是因為大數據需要從底層晶元到基礎軟體再到應用分析軟體等信息產業全產業鏈的支撐，無論是新型計算平台、分布式計算架構，還是大數據處理、分析和呈現方面與國外均存在較大差距，對開源技術和相關生態系統的影響力仍然較弱，總體上難以滿足各行各業大數據應用需求。而這是大數據短期內最大的挑戰。
第三個挑戰就是數據資源建設和應用水平不高。這是因為用戶普遍不重視數據資源的建設，即使有數據意識的機構也大多隻重視數據的簡單存儲，很少針對後續應用需求進行加工整理。而且數據資源普遍存在質量差，標准規范缺乏，管理能力弱等現象。在很多跨部門、跨行業的數據共享仍不順暢，有價值的公共信息資源和商業數據開放程度低。數據價值難以被有效挖掘利用，所以說，大數據應用整體上處於起步階段，潛力遠未釋放。
第四個挑戰就是信息安全和數據管理體系尚未建立。數據所有權、隱私權等相關法律法規和信息安全、開放共享等標准規范缺乏，技術安全防範和管理能力不夠，尚未建立起兼顧安全與發展的數據開放、管理和信息安全保障體系。
第五個挑戰就是人才隊伍建設還需加強。就目前而言，我國的綜合掌握數學、統計學、計算機等相關學科及應用領域知識的綜合性數據科學人才缺乏，遠不能滿足發展需要，尤其是缺乏既熟悉行業業務需求，又掌握大數據技術與管理的綜合型人才。
㈢ 大數據時代的數據分析技術面臨的挑戰
數據分析是整個大數據處理流程的核心，大數據的價值產生於分析過程。從異構數據源抽取和集成的數據構成了數據分析的原始數據。根據不同應用的需求可以從這些數據中選擇全部或部分進行分析。小數據時代的分析技術，如統計分析、數據挖掘和機器學習等，並不能適應大數據時代數據分析的需求，必須做出調整。
大數據時代的數據分析技術面臨著一些新的挑戰，主要有以下幾點。
（1）數據量大並不一定意味著數據價值的增加，相反這往往意味著數據噪音的增多。因此，在數據分析之前必須進行數據清洗等預處理工作，但是預處理如此大量的數據，對於計算資源和處理演算法來講都是非常嚴峻的考驗。
（2）大數據時代的演算法需要進行調整。首先，大數據的應用常常具有實時性的特點，演算法的准確率不再是大數據應用的最主要指標。在很多場景中，演算法需要在處理的實時性和准確率之間取得一個平衡。其次，分布式並發計算系統是進行大數據處理的有力工具，這就要求很多演算法必須做出調整以適應分布式並發的計算框架，演算法需要變得具有可擴展性。許多傳統的數據挖掘演算法都是線性執行的，面對海量的數據很難在合理的時間內獲取所需的結果。因此需要重新把這些演算法實現成可以並發執行的演算法，以便完成對大數據的處理。最後，在選擇演算法處理大數據時必須謹慎，當數據量增長到一定規模以後，可以從小量數據中挖掘出有效信息的演算法並一定適用於大數據。
（3）數據結果的衡量標准。對大數據進行分析比較困難，但是對大數據分析結果好壞的衡量卻是大數據時代數據分析面臨的更大挑戰。大數據時代的數據量大，類型混雜，產生速度快，進行分析的時候往往對整個數據的分布特點掌握得不太清楚，從而會導致在設計衡量的方法和指標的時候遇到許多困難。
㈣ 大數據面臨的技術挑戰
上周在大數據的趨勢和特點中，說到了人類這次面臨的問題不是問題無法解決，而是問題過於復雜。採用機械思維，其速度和效率已經趕不上新問題的產生。正是在這種分工越來越細，協作越來越緊密，問題越來越復雜的背景下，產生了大數據思維。大數據思維也由其獨特的體量大、多樣性和完備性，使得過去看來很復雜很難處理的問題變得可以解決了。
其實早在20世紀60年代就有研究學者提出採用人工智慧的方法來解決社會問題。當時的人工智慧方法還是局限於通過首先了解人類是如何產生智能，然後讓計算機按照人的思路去做。吳軍老師在《智能時代》中說到：「在人類發明的歷史上，很多領域早期的嘗試都是模仿人或者動物的行為，因為這是我們的直覺最容易想到的方法。」 但是經過十幾年的發展，科學家們發現採用上面的思路去發展人工智慧，似乎解決不了什麼實際問題。很多科學家開始反思人工智慧的發展，而在之後的20年左右的時間，在人工智慧學術界的研究是處於低谷的。20世紀70年代，人類開始嘗試智能的另一條發展道路，即採用數據驅動和超級計算的方法。即便在10年前，那時我還在念書，也曾接觸過人工神經網路演算法。很顯然，當時對機器智能的概念大家都還是比較模糊的，人工智慧也還沒有被我們提高到現在的高度。
機器智能的概念在60多年就被提出來了，真正的突破卻在具有了大數據的今天。為什麼大數據的拐點會發生在今天？大數據到底面臨何種技術挑戰？
過去的10年，最容易看到的特徵就是全球數據量呈爆炸式增長。大數據的第一個來源是電腦本身；第二個來源是感測器；第三個來源是將那些過去已經存在的、以非數字化形式儲存的信息數字化。據2015年思科公司的統計數據顯示，從2009~2015年的6年時間內，企業級數據增長了50倍。當然數據的爆炸式增長，離不開電腦硬體、軟體、互聯網、數據儲存、數據處理等一系列配套技術的發展和支撐。大數據實際上是對計算機科學、電機工程、通信、應用數學和認知科學發展的一個綜合考量。目前這些技術難題不一定有最佳的解決方案，甚至不存在什麼絕對好的解決辦法。
一、數據收集
傳統的數據方法常常是先有一個目的，然後開始收集數據。比如，海王星的發現就是在人們發現天王星運動軌跡和牛頓力學預測出來的不一樣之後，天文學家拍了很多星空的照片後發現的；心理學研究也是在有了一個明確的研究課題後，再通過實驗的方法採集數據，如 「棉花糖測驗」系列實驗，以及關於認知失調的「追隨者案例」等等。大數據則避免了采樣之苦，因為大數據常常以全集（大數據的特徵之一）作為樣本集。
但是，如何收集到全集就是一件很有挑戰的事情了。目前一些聰明公司，比如Google, Facebook, 網路，京東都是繞一個彎子，間接地去收集數據，然後利用數據的相關性，導出自己想要的結論。但是即便是這些如此成功的公司，仍然也有很多失敗的案例。2010年，Google推出了自己的電視機頂盒Google TV，為了獲取數據為進入電視廣告做准備。但是，由於Google TV銷售得很差，最終Google徹底地放棄了這產品。到目前為止，無論是Google過去的機頂盒，還是後來的Chromecast，蘋果的Apple TV，除了統計一下收視率，計算一下可能的廣告觀眾，並沒有什麼大的作為。數據收集是一個開放性的話題，不存在唯一性或最佳方法，目前仍然面臨著很大的挑戰。
二、數據儲存
僅Google街景地圖每天產生的數據量就有1TB，假如一份數據存三個拷貝，一年下來就1PB。即使使用當今最大容量的10TB硬碟，也需要用100個。因此，不能簡單地依靠設備來解決數據儲存的問題，而是需要技術解決方案來提高儲存效率，保證不斷產生出來的數據都能存得下。目前的數據儲存手段主要是從如下2個方面考慮：去除數據冗餘和便於使用。去除數據冗餘可以簡單理解為去除數據中的重復部分，比如同一份附件在所有的郵件中只儲存一次。這樣，在去除數據冗餘的過程中，相應的數據讀寫處理就要改變。是否有比現在更有效率的儲存格式或方式，仍然是大數據所面臨的挑戰。另外，便於使用的思路是從使用者的角度就去考慮數據的儲存。大數據之前，數據在設計文件系統的數據儲存格式時，主要考慮的是規模小、維度少的結構化數據。到了大數據時代，不僅數據量和維度都劇增，而且大數據在形式上也沒有固定模式，因此需要重新設計通用、有效和便捷的數據表示方式和儲存方式。
三、數據處理
大數據由於體量大、維度多，處理起來計算量巨大，其處理效率是一大技術挑戰。並行計算是目前解決計算量巨大的重要手段，但仍然存在一些的問題。例如，任何一個問題總用一部分計算是無法並行計算的，這類計算佔比越大，並行處理的效率就越低；再次，並行計算中無法保證每一個小任務的計算量是相同的，這樣一來，並行計算的效率也會大打折扣，即完成了自己計算任務的伺服器需要等待個別尚未完成的伺服器，最終的計算速度取決於最後完成的子任務。
四、數據挖掘
如何從一堆雜亂無章的數據中挖掘出有價值的信息，是機器智能的關鍵，也是大數據的使命。數據在進行降噪處理之後，基本就可以直接使用了，接下來的關鍵一步就是機器學習。目前廣泛使用的機器學習演算法有人工神經網路演算法、最大熵模型、邏輯自回歸等。Google公司的AlphaGo的訓練演算法就是人工神經網路。機器學習的過程是一個不斷迭代、不斷進化的過程，只要事先定出一個目前，這些演算法就會不斷地優化模型，讓它越來越接近真實的情況。尋找更優演算法一直也是科學家們探索的難題。
五、數據安全
大數據應用的一個挑戰還來自數據安全的擔憂和對隱私的訴求。2014年爆出的索尼公司丟失數據時，造成的損失高達1億美元。比商業數據丟失後損失更大的是醫療數據的被盜。在中國，除了在北京建立了大數據中心，還在貴陽建立了大數據災備中心，而且正籌備在內蒙古再建立另一個數據災備中心。而關於數據隱私，我想大家應該是深有感觸，由於信息泄露而帶來的騷擾電話以及電信詐騙，就發生在我們每個人身上。據《智能時代》中記載：「在美國的黑市上，一個醫療記錄的賣家是商業數據的50倍左右」。可見，數據安全已然成為大數據發展的一大隱患和難題。
上述大數據5個方面的技術挑戰並不是獨立的，而是相輔相成、互相影響的。關於大數據的技術挑戰在此僅談談個人的一點認識，希望對大家在這方面的思考有所幫助。下周我們繼續聊，大數據給我們帶來便利以及隱患。
㈤ 大數據時代所面臨的挑戰
大數據時代所面臨的挑戰
大數據時代臨近，企業數據呈現爆炸式增長，如何為了更大的發掘企業數據價值將是很多公司必須要面對的挑戰。首當其沖的是大數據的快速發展對我們原有的IT基礎設施提供了更高的挑戰，原有的IT基礎設施以及很難滿足大數據時代的需求。發現價值的過程離不開基礎平台技術的創新與發展。
基礎平台的改變
首先大數據挑戰的就是企業的存儲系統，大數據爆炸式的增長使得存儲系統的容量、擴展能力、傳輸瓶頸等方面都面臨著挑戰。與之相連的還有伺服器的計算能力，內存的存儲能力等等都面臨著新的技術攻關。目前快閃記憶體技術的發展以及英特爾、IBM等公司在大數據方面都已經投入相當大的資金進行研發，主要也是為了解決大數據對基礎平台所帶來的挑戰。
同樣，大數據分析同樣面臨著軟體方面的挑戰，同時也引發資料庫、數據倉庫、數據挖掘、商業智能、人工智慧、內容/知識管理等領域的技術變革。Hadoop是近年大家經常提到了一個能夠對大量數據進行分布式處理的軟體框架，用戶可以輕松地在Hadoop上開發和運行處理海量數據的應用程序。
商業模式的挑戰
大數據具有強大的數據價值，當我們可以利用大數據挖掘到需要信息的時候，則需要我們根據得到的信息對企業的商業模型、產品和服務等方面進行創新，這樣才能夠真正的讓大數據的價值得到體現。
如何利用大數據信息來改變商業模式最終實現價值呢，這里我們引用Tesco為案例。Tesco收集了海量的顧客數據，並且通過對每位顧客海量數據的分析，Tesco對每位顧客的信用程度和相關風險都會有一個極為准確的評估。在這個基礎上，Tesco推出了自己的信用卡，未來Tesco還有野心推出自己的存款服務。
以上是小編為大家分享的關於大數據時代所面臨的挑戰的相關內容，更多信息可以關注環球青藤分享更多干貨
㈥ 大數據工程面臨哪些挑戰
基礎平台的改變
大數據挑戰的就是企業的存儲系統，大數據爆炸式的增長使得存儲系統的容量、擴展能力、傳輸瓶頸等方面都面臨著挑戰。與之相連的還有伺服器的計算能力，內存的存儲能力等等都面臨著新的技術攻關。
商業模式的挑戰
大數據具有強大的數據價值，當我們可以利用大數據挖掘到需要信息的時候，則需要我們根據得到的信息對企業的商業模型、產品和服務等方面進行創新，這樣才能夠真正的讓大數據的價值得到體現。
㈦ 大數據的發展所面臨的挑戰有哪些
挑戰一：業務來部門沒有清晰的大自數據需求。
挑戰二：企業內部數據孤島嚴重。
挑戰三：數據可用性低，數據質量差。
挑戰四：數據相關管理技術和架構。
挑戰五：數據安全。
㈧ 大數據時代給信息安全帶來的挑戰
大數據時代給信息安全帶來的挑戰
在大數據時代，商業生態環境在不經意間發生了巨大變化：無處不在的智能終端、隨時在線的網路傳輸、互動頻繁的社交網路，讓以往只是網頁瀏覽者的網民的面孔從模糊變得清晰，企業也有機會進行大規模的精準化的消費者行為研究。大數據藍海將成為未來競爭的制高點。
大數據在成為競爭新焦點的同時，不僅帶來了更多安全風險，同時也帶來了新機遇。
一、大數據成為網路攻擊的顯著目標。
在網路空間，大數據是更容易被「發現」的大目標。一方面，大數據意味著海量的數據，也意味著更復雜、更敏感的數據，這些數據會吸引更多的潛在攻擊者。另一方面，數據的大量匯集，使得黑客成功攻擊一次就能獲得更多數據，無形中降低了黑客的進攻成本，增加了「收益率」。
二、大數據加大隱私泄露風險。
大量數據的匯集不可避免地加大了用戶隱私泄露的風險。一方面，數據集中存儲增加了泄露風險，而這些數據不被濫用，也成為人身安全的一部分。另一方面，一些敏感數據的所有權和使用權並沒有明確界定，很多基於大數據的分析都未考慮到其中涉及的個體隱私問題。
三、大數據威脅現有的存儲和安防措施。
大數據存儲帶來新的安全問題。數據大集中的後果是復雜多樣的數據存儲在一起，很可能會出現將某些生產數據放在經營數據存儲位置的情況，致使企業安全管理不合規。大數據的大小也影響到安全控制措施能否正確運行。安全防護手段的更新升級速度無法跟上數據量非線性增長的步伐，就會暴露大數據安全防護的漏洞。
四、大數據技術成為黑客的攻擊手段。
在企業用數據挖掘和數據分析等大數據技術獲取商業價值的同時，黑客也在利用這些大數據技術向企業發起攻擊。黑客會最大限度地收集更多有用信息，比如社交網路、郵件、微博、電子商務、電話和家庭住址等信息，大數據分析使黑客的攻擊更加精準。此外，大數據也為黑客發起攻擊提供了更多機會。黑客利用大數據發起僵屍網路攻擊，可能會同時控制上百萬台傀儡機並發起攻擊。
五、大數據成為高級可持續攻擊的載體。
傳統的檢測是基於單個時間點進行的基於威脅特徵的實時匹配檢測，而高級可持續攻擊(APT)是一個實施過程，無法被實時檢測。此外，由於大數據的價值低密度特性，使得安全分析工具很難聚焦在價值點上，黑客可以將攻擊隱藏在大數據中，給安全服務提供商的分析製造很大困難。黑客設置的任何一個會誤導安全廠商目標信息提取和檢索的攻擊，都會導致安全監測偏離應有方向。
六、大數據技術為信息安全提供新支撐。
當然，大數據也為信息安全的發展提供了新機遇。大數據正在為安全分析提供新的可能性，對於海量數據的分析有助於信息安全服務提供商更好地刻畫網路異常行為，從而找出數據中的風險點。對實時安全和商務數據結合在一起的數據進行預防性分析，可識別釣魚攻擊，防止詐騙和阻止黑客入侵。網路攻擊行為總會留下蛛絲馬跡，這些痕跡都以數據的形式隱藏在大數據中，利用大數據技術整合計算和處理資源有助於更有針對性地應對信息安全威脅，有助於找到攻擊的源頭。
㈨ 大數據安全的六大挑戰
大數據安全的六大挑戰_數據分析師考試
大數據的價值為大家公認。業界通常以4個「V」來概括大數據的基本特徵——Volume(數據體量巨大)、Variety(數據類型繁多)、Value(價值密度低)、Velocity(處理速度快)。當你准備對大數據所帶來的各種光鮮機遇大加利用的同時，請別忘記大數據也會引入新的安全威脅，存在於大數據時代「潘多拉魔盒」中的魔鬼可能會隨時出現。
挑戰一：大數據的巨大體量使得信息管理成本顯著增加
4個「V」中的第一個「V」(Volume)，描述了大數據之大，這些巨大、海量數據的管理問題是對每一個大數據運營者的最大挑戰。在網路空間，大數據是更容易被「發現」的顯著目標，大數據成為網路攻擊的第一演兵場所。一方面，大量數據的集中存儲增加了泄露風險，黑客的一次成功攻擊能獲得比以往更多的數據量，無形中降低了黑客的進攻成本，增加了「攻擊收益」;另一方面，大數據意味著海量數據的匯集，這裡面蘊藏著更復雜、更敏感、價值巨大的數據，這些數據會引來更多的潛在攻擊者。
在大數據的消費者方面，公司在未來幾年將處理更多的內部生成的數據。然而在許多組織中，不同的部門像財務、工程、生產、市場、IT等之間的信息仍然是孤立的，各部門之間相互設防，造成信息無法共享。那些能夠在不破壞壁壘和部門現實優勢的前提下更透明地溝通的公司將更具競爭優勢。
【解決方案】 首先要找到有安全管理經驗並受過大數據管理所需要技能培訓的人員，尤其是在今天人力成本和培訓成本不斷上升的節奏中，這一定足以讓許多CEO肝顫，但這些針對大數據管理人員的巨額教育和培訓成本，是一種非常必要的開銷。
與此同時，在流程的設計上，一定要將數據分散存儲，任何一個存儲單元被「黑客」攻破，都不可能拿到全集，同時對於不同安全域要進行准確的評估，像關鍵信息索引的保護一定要加強，「好鋼用在刀刃上」，作為數據保全，能夠應對部分設施的災難性損毀。
挑戰二：大數據的繁多類型使得信息有效性驗證工作大大增加
4個「V」中的第二個「V」(Variety)，描述了數據類型之多，大數據時代，由於不再拘泥於特定的數據收集模式，使得數據來自於多維空間，各種非結構化的數據與結構化的數據混雜在一起。
未來面臨的挑戰將會是從數據中提取需要的數據，很多組織將不得不接受的現實是，太多無用的信息造成的信息不足或信息不匹配。我們可以考慮這樣的邏輯：依託於大數據進行演算法處理得出預測，但是如果這些收集上來的數據本身有問題又該如何呢?也許大數據的數據規模可以使得我們無視一些偶然非人為的錯誤，但是如果有個敵手故意放出干擾數據呢?現在非常需要研究相關的演算法來確保數據來源的有效性，尤其是比較強調數據有效性的大數據領域。
正是因為這個原因，對於正在收集和儲存大量客戶數據的公司來說，最顯而易見的威脅就是在過去的幾年裡，存放於企業資料庫中數以TB計，不斷增加的客戶數據是否真實可靠，依然有效。
眾所周知，海量數據本身就蘊藏著價值，但是如何將有用的數據與沒有價值的數據進行區分看起來是一個棘手的問題，甚至引發越來越多的安全問題。
【解決方案】 嘗試盡可能使數據類型具體化，增加對數據更細粒度的了解，使數據本身更加細化，縮小數據的聚焦范圍，定義數據的相關參數，數據的篩選要做得更加精緻。與此同時，進一步健全特徵庫，加強數據的交叉驗證，通過邏輯沖突去偽存真。
挑戰三：大數據的低密度價值分布使得安全防禦邊界有所擴展
4個「V」中的第三個「V」(Value)，描述了大數據單位數據的低價值。這種廣種薄收似的價值量度，使得信息效能被攤薄了，大數據的安全預防與攻擊事件的分析過程更加復雜，相當於安全管理范圍被放大了。
大數據時代的安全與傳統信息安全相比，變得更加復雜，具體體現在三個方面：一方面，大量的數據匯集，包括大量的企業運營數據、客戶信息、個人的隱私和各種行為的細節記錄，這些數據的集中存儲增加了數據泄露風險;另一方面，因為一些敏感數據的所有權和使用權並沒有被明確界定，很多基於大數據的分析都未考慮到其中涉及的個體隱私問題;再一方面，大數據對數據完整性、可用性和秘密性帶來挑戰，在防止數據丟失、被盜取、被濫用和被破壞上存在一定的技術難度，傳統的安全工具不再像以前那麼有用。
【解決方案】 確立有限管理邊界，依據保護要求，加強重點保護，構建一體化的數據安全管理體系，遵循網路防護和數據自主預防並重的原則，並不是實施了全面的網路安全護理就能徹底解決大數據的安全問題，數據不丟失只是傳統的邊界網路安全的一個必要補充，我們還需要對大數據安全管理的盲區進行監控，只有將二者結合在一起，才是一個全面的一體化安全管理的解決方案
挑戰四：大數據的快速處理要求使得獨立決策的比例顯著降低
「4個「V」中最後一個「V」(Velocity)，決定了利用海量數據快速得出有用信息的屬性。
大數據時代，對事物因果關系的關注，轉變為對事物相關關系的關注。如果大數據系統只是一種輔助決策系統，這還不是最可怕的。事實上，今天大數據分析日益成為一項重要的業務決策流程，越來越多的決策結果來自於大數據的分析建議，對於領導者最艱難的事情之一，是讓我的邏輯思考來做決定，還是由機器的數據分析做決定，可怕的是，今天看來，機器往往是正確的，這不得不讓我們產生依賴。試想一下，如果收集的數據已經被修正過，或是系統邏輯已經被控制了呢!但是面對海量的數據收集、存儲、管理、分析和共享，傳統意義上的對錯分析和奇偶較驗已失去作用。
【解決方案】 在依靠大數據進行分析、決策的同時，還應輔助其他的傳統決策支持系統，盡可能明智地使用數據所告訴我們的結果，讓大數據為我們所用。但絕對不要片面地依賴於大數據系統。
挑戰五：大數據獨特的導入方式使得攻防雙方地位的不對等性大大降低
在大數據時代，數據加工和存儲鏈條上的時空先後順序已被模糊，可擴展的數據聯系使得隱私的保護更加困難。過去傳統的安全防護工作，是先紮好籬笆、築好牆，等待「黑客」的攻擊，我們雖然不知道下一個「黑客」是誰，但我們一定知道，它是通過尋求新的漏洞，從前面逐層進入。守方在明處，但相比攻方有明顯的壓倒性優勢。而在大數據時代，任何人都可以是信息的提供者和維護者，這種由先天的結構性導入設計所帶來的變化，你很難知道「它」從哪裡進來，「哪裡」才是前沿。這種變化，使得攻、防雙方的力量對比的不對等性大大下降。
同時，由於這種不對等性的降低，在我們用數據挖掘和數據分析等大數據技術獲取有價值信息的同時，「黑客」也可以利用這些大數據技術發起新的攻擊。「黑客」會最大限度地收集更多有用信息，比如社交網路、郵件、微博、電子商務、電話和家庭住址等信息，大數據分析使「黑客」的攻擊更加精準。此外，「黑客」可能會同時控制上百萬台傀儡機，利用大數據發起僵屍網路攻擊。
【解決方案】 面對大數據所帶來新的安全問題，有針對性地更新安全防護手段，增加新型防護手段，混合生產數據和經營數據，多種業務流並行，增加特徵標識建設內容，增強對數據資源的管理和控制。
挑戰六：大數據網路的相對開放性使得安全加固策略的復雜性有所降低
在大數據環境下，數據的使用者同時也是數據的創造者和供給者，數據間的聯系是可持續擴展的，數據集是可以無限延伸的，上述原因就決定了關於大數據的應用策略要有新的變化，並要求大數據網路更加開放。大數據要對復雜多樣的數據存儲內容做出快速處理，這就要求很多時候，安全管理的敏感度和復雜度不能定得太高。此外，大數據強調廣泛的參與性，這將倒逼系統管理者調低許多策略的安全級別。
當然，大數據的大小也影響到安全控制措施能否正確地執行，升級速度無法跟上數據量非線性增長的步伐，就會暴露大數據安全防護的漏洞。
【解決方案】 使用更加開放的分布式部署方式，採用更加靈活、更易於擴充的信息基礎設施，基於威脅特徵建立實時匹配檢測，基於統一的時間源消除高級可持續攻擊(APT)的可能性，精確控制大數據設計規模，削弱「黑客」可以利用的空間。
大數據時代已經到來，大數據已經產生出巨大影響力，並對我們的社會經濟活動帶來深刻影響。充分利用大數據技術來挖掘信息的巨大價值，從而實現並形成強有力的競爭優勢，必將是一種趨勢。面對大數據時代的六種安全挑戰，如果我們能夠予以足夠重視，採取相應措施，將可以起到未雨綢繆的作用。
以上是小編為大家分享的關於大數據安全的六大挑戰的相關內容，更多信息可以關注環球青藤分享更多干貨
㈩ 大數據帶來的挑戰有哪些
大數據近年來發展的非常快，現在也普遍得到應用，大數據帶來了機遇同時也版帶來了挑戰，當權大數據產業鏈、行業應用逐步發展完善之後，大數據將會形成質變，創新整個社會形態。光環大數據培訓認為，大數據行業的真正挑戰來自三個方面：一是原來的分析基礎要變化，要融合統計學、計算理論基礎、邏輯基礎。二是，計算技術也需要重新革新，無論是存儲、計算語言、還是計算方法都需要重新來過。三是，大數據做出來的結論對不對，還無法大規模驗證，這是目前面臨的最大挑戰。