互聯網與大數據帶來的挑戰

⑴ 大數據時代給信息安全帶來的挑戰

大數據時代給信息安全帶來的挑戰
在大數據時代，商業生態環境在不經意間發生了巨大變化：無處不在的智能終端、隨時在線的網路傳輸、互動頻繁的社交網路，讓以往只是網頁瀏覽者的網民的面孔從模糊變得清晰，企業也有機會進行大規模的精準化的消費者行為研究。大數據藍海將成為未來競爭的制高點。
大數據在成為競爭新焦點的同時，不僅帶來了更多安全風險，同時也帶來了新機遇。
一、大數據成為網路攻擊的顯著目標。
在網路空間，大數據是更容易被「發現」的大目標。一方面，大數據意味著海量的數據，也意味著更復雜、更敏感的數據，這些數據會吸引更多的潛在攻擊者。另一方面，數據的大量匯集，使得黑客成功攻擊一次就能獲得更多數據，無形中降低了黑客的進攻成本，增加了「收益率」。
二、大數據加大隱私泄露風險。
大量數據的匯集不可避免地加大了用戶隱私泄露的風險。一方面，數據集中存儲增加了泄露風險，而這些數據不被濫用，也成為人身安全的一部分。另一方面，一些敏感數據的所有權和使用權並沒有明確界定，很多基於大數據的分析都未考慮到其中涉及的個體隱私問題。
三、大數據威脅現有的存儲和安防措施。
大數據存儲帶來新的安全問題。數據大集中的後果是復雜多樣的數據存儲在一起，很可能會出現將某些生產數據放在經營數據存儲位置的情況，致使企業安全管理不合規。大數據的大小也影響到安全控制措施能否正確運行。安全防護手段的更新升級速度無法跟上數據量非線性增長的步伐，就會暴露大數據安全防護的漏洞。
四、大數據技術成為黑客的攻擊手段。
在企業用數據挖掘和數據分析等大數據技術獲取商業價值的同時，黑客也在利用這些大數據技術向企業發起攻擊。黑客會最大限度地收集更多有用信息，比如社交網路、郵件、微博、電子商務、電話和家庭住址等信息，大數據分析使黑客的攻擊更加精準。此外，大數據也為黑客發起攻擊提供了更多機會。黑客利用大數據發起僵屍網路攻擊，可能會同時控制上百萬台傀儡機並發起攻擊。
五、大數據成為高級可持續攻擊的載體。
傳統的檢測是基於單個時間點進行的基於威脅特徵的實時匹配檢測，而高級可持續攻擊(APT)是一個實施過程，無法被實時檢測。此外，由於大數據的價值低密度特性，使得安全分析工具很難聚焦在價值點上，黑客可以將攻擊隱藏在大數據中，給安全服務提供商的分析製造很大困難。黑客設置的任何一個會誤導安全廠商目標信息提取和檢索的攻擊，都會導致安全監測偏離應有方向。
六、大數據技術為信息安全提供新支撐。
當然，大數據也為信息安全的發展提供了新機遇。大數據正在為安全分析提供新的可能性，對於海量數據的分析有助於信息安全服務提供商更好地刻畫網路異常行為，從而找出數據中的風險點。對實時安全和商務數據結合在一起的數據進行預防性分析，可識別釣魚攻擊，防止詐騙和阻止黑客入侵。網路攻擊行為總會留下蛛絲馬跡，這些痕跡都以數據的形式隱藏在大數據中，利用大數據技術整合計算和處理資源有助於更有針對性地應對信息安全威脅，有助於找到攻擊的源頭。

⑵ 大數據時代的挑戰、價值與應對策略

大數據時代的挑戰、價值與應對策略
隨著移動互聯網、物聯網、雲計算等的快速發展，及視頻監控、智能終端、應用商店等的快速普及，全球數據量出現爆炸式增長。在此背景下，電信運營商在其網路無休止擴容的同時，卻面臨「增量不增收」的困境；而一些採用「數據驅動型決策」模式經營的公司，則可將其生產力提高5%～6%。因此，有必要深入研究大數據時代（Big Data Era）的挑戰、價值與務實應對策略。
1大數據時代的基本特徵
據統計，2010年以互聯網為基礎所產生的數據比之前所有年份的總和還要多；而且不僅是數據量的激增，數據結構亦在演變。Gartner預計，2012年半結構和非結構化的數據，諸如文檔、表格、網頁、音頻、圖像和視頻等將佔全球網路數據量的85%左右；而且，整個網路體系架構將面臨革命性改變。由此，所謂大數據時代已經來臨！
對於大數據時代，目前通常認為有下述四大特徵，稱為「四V」特徵：
（1）量大（Volume Big）。數據量級已從TB（1012位元組）發展至PB乃至ZB，可稱海量、巨量乃至超量。
（2）多樣化（Variable Type）。數據類型繁多，愈來愈多為網頁、圖片、視頻、圖像與位置信息等半結構化和非結構化數據信息。
（3）快速化（VelocityFast）。數據流往往為高速實時數據流，而且往往需要快速、持續的實時處理；處理工具亦在快速演進，軟體工程及人工智慧等均可能介入。
（4）價值高和密度低（Value HighandLowDensity）。以視頻安全監控為例，連續不斷的監控流中，有重大價值者可能僅為一兩秒的數據流；360°全方位視頻監控的「死角」處，可能會挖掘出最有價值的圖像信息。
2大數據時代面臨的挑戰
（1）運營商帶寬能力與對數據洪流的適應能力面臨前所未有的挑戰，管道化壓力化解及「雲－管－端」的有效裝備也均面臨新挑戰。
（2）大數據的「四V」特徵在數據存儲、傳輸、分析、處理等方面均帶來本質變化。數據量的快速增長，對存儲技術提出了挑戰；同時，需要高速信息傳輸能力支持，與低密度有價值數據的快速分析、處理能力。
（3）海量數據洪流中，在線對話與在線交易活動日益增加，其安全威脅更為嚴峻；而且現今黑客的組織能力、作案工具、作案手法及隱蔽程度更上一層樓，典型的有APT（Advanced Persistent Threat，高級持續性安全威脅）。
（4）大數據環境下通過對用戶數據的深度分析，很容易了解用戶行為和喜好，乃至企業用戶的商業機密，對個人隱私問題必須引起充分重視。
（5）大數據時代的基本特徵，決定其在技術與商業模式上有巨大的創新空間，這將對可持續發展起關鍵作用。
（6）大數據時代的基本特徵及安全挑戰，對政府制訂規則與監管部門發揮作用提出了新的挑戰。
3大數據帶來的價值
（1）利用大數據特徵，藉助雲計算等有效工具，深度挖掘流量與數據價值，可幫助運營商實施好流量經營，減輕管道化風險，發揚「雲－管－端」的智能管道的威力。
（2）多業務環境下掌握用戶體驗效果尤為重要，可從海量用戶數據中深度分析、挖掘出用戶的行為習慣和消費愛好，以實施精準營銷及網路優化，掌控數據增值的「金鑰匙」。
（3）掌握好大數據的存儲、分類、挖掘、快速調用和決策支撐，並應用於企業的日常運營、維護及戰略轉型中，成為企業可持續發展、維持競爭優勢的當務之急與重要途徑。
（4）充分利用對大數據的分析、挖掘，可幫助找到隱蔽性極強的APT之類的安全威脅，助力信息安全部門找到應對新型安全威脅的有效途徑。
（5）通過對公共大數據的分析、挖掘與利用，可減少欺詐行為及錯誤數據的負面作用、追收逃稅漏稅及刺激公共機構生產力等，幫助政府節省開支。例如英國政府即通過此途徑節省大約330億英鎊/年。
4大數據時代的應對策略
（1）大數據時代應以智慧創新理念融合大數據與雲計算，在大數據洪流中提升知識價值洞察力，實施高效實時個性化運作，建立有效增值的商業模式，確保應對APT之類的新型安全威脅。
（2）電信運營商轉型中流量經營已成共識，即以智能管道與聚合平台為基礎，以擴大流量規模、提升流量層次及豐富流量內涵作為基本經營方向，並以釋放流量價值為基本目標，可見大數據和雲計算的深度融合與此流量經營目標十分吻合。實際上已經有一些運營商藉助大數據Hadoop雲工具管理與分析網路中的用戶數據，為日常運維及制定市場戰略等提供有效支撐。
（3）針對大數據時代的基本特徵，加強全方位創新。包括IBM、EMC、HP、Microsoft等在內的IT巨頭，紛紛加速收購相關大數據公司進行技術整合，尋找數據洪流大潮中新的立足點。而涉及人工智慧、機器學習等新技術的創新應用，已初顯效益。
（4）將大數據時代全方位創新工作和智慧城市發展緊密結合。藉助移動互聯網、大數據與雲計算的融合、智能運營管道等，建立智能平台，優化配置城市資源，向真正的智慧城市邁進。
（5）藉助大數據創新處理技術應對APT安全攻擊。APT安全攻擊的最主要特徵為單點隱蔽能力強、攻擊空間路徑不確定、攻擊渠道不確定；同時APT攻擊一旦入侵成功則長期潛伏，攻擊時間上具有持續性。目前，全流量審計方案具備強大的實時檢測能力與事後回溯能力，並可將安全工作人員的分析能力、計算機存儲與運算能力組合在一起，是一種較完整的解決方案。

⑶ 互聯網大數據時代企業面臨的挑戰

沒有人會否定疫情下數據給全國防控帶來的幫助。得益於大數據、 雲計算 、人工智慧以及5G技術的發展,數據得以更好的共享以及分析,政府、企業推出的健康碼、防疫行程卡等應用,使得人員流通、密切接觸者排查有數可依。

也沒有企業不清楚數據在這個年代對經營管理的價值。通過將數據沉澱、清洗,並挖掘、分析,企業運營效率將得以提升、成本得以優化,經營也將得以改善。

事實正是如此。在智能終端、 物聯網 以及5G的推動下,全球數據量正呈指數般增長:2010年全球數據量剛剛突破1ZB,而今年全球數據量預計將超過40ZB。相關數據表明,到2025年時,全球的數據量將達到163ZB。

數據洪流下,全球也正從IT信息時代走向DT數據時代。由大數據引發的產業變革已經開始。IDC發布的《全球半年度大數據支出指南,2018H2》曾預計, 2019年大數據與商業分析解決方案全球市場的整體收益將達到1896.6億美元,同比增長12.1%。

同時,在2019-2023年預測期內,全球大數據市場相關收益將實現13.1%的CAGR(復合年均增長率),並預計總收益於2023年達到3126.7億美元。

具體到中國大數據市場, 2019-2023年預測期內的年CAGR(復合年均增長率)為23.5%,增速高於全球平均水平。到2023年,中國大數據市場規模則將增長至224.9億美元。

盡管大數據市場前景一片光明,但真正能很好把握數據,充分發揮數據價值的企業,往往是少數在技術、資本、人才均占據優勢的行業領導者。

而絕多數長尾企業,本就在行業競爭中處於劣勢,在大數據產業變革中,盡管知道數據對經營管理那麼重要。但受限於運營成本、人才以及技術,很難找到一款合適的工具,去抓住這些數據中蘊藏的商機。

數字經濟下的企業經營困擾

眾所周知的是,無論是國家層面「新基建」概念的提出,還是受疫情影響企業、組織加速數字化轉型的步伐,這些均代表著數字經濟時代的到來。

數據最直觀:到2021年,全球數字經濟規模將達到45萬億美元,全球數字經濟的比重將超過50%。中國是全球數字經濟的引領者之一。到2021年,中國數字經濟規模將達到8.5萬億美元,其中數字經濟所佔比重將超過55%。截止目前,中國數字經濟增速已連續3年排名世界第一。

但作為數字經濟的推動者,企業在面對錯綜繁雜的 互聯網 大數據時,依然不能採取行之有效的方案,將其妥善的用於經營管理。具體來看的話,企業在藉助互聯網大數據幫助經營管理時面臨的挑戰主要在以下幾方面:

一是缺乏專業的市場研究工具或團隊。 相比企業現在所使用的IT技術,大數據可以說是一門新技術。對於沒有部署這一技術的企業而言,由於沒有專業的市場研究工具或者研究團隊,一方面將由於數據質量不佳面臨產品開發設計難題。

這是因為企業無法對所處的市場進行量化統計分析,如市場規模是否增加,友商最近有何動態,是否有新入局者,該市場某細分市場是否有潛在機會。同時,由於不知道市場上有哪些爆款產品、創新產品,友商的競品有何特性以及潛在市場的需求,導致企業在產品開發、策劃、推廣時沒有針對性,難以形成爆款。

另一方面導致店鋪運營效率不佳: 同樣,由於缺乏專業的監控、分析工具,企業無法對友商線上渠道布局清晰掌握,無法實現自營/經銷店鋪的批量監控、店鋪異動的自動記錄以及爆款產品的促銷復盤。並且,由於無法及時獲取用戶的吐槽、建議等,店鋪在改善運營上也存在難度。

二是部署大數據技術面臨的資金、周期等問題。 使用大數據改善經營管理是大勢所趨,所以企業要麼已經部署大數據要麼考慮部署。而在自行部署大數據技術時,不免要多方考慮,既要考慮新硬體的采購費用或者雲服務的購買費用,同時還要考慮開發人員的招聘費用,開發周期及運維等。而對 中小企業 而言,這無疑又是一項重大開支。

三是數據的安全問題。大數據技術從誕生到現在,其發展並不算太完善,因此自身安全性相對弱一些。同時,大數據平台又存在諸多組件,以Hadoop為例,至少包含了二三十個組件,這意味著黑客入侵某一個組件便可對整個組群整個平台進行控制。

不可避免,企業在開發大數據方案時需要與公司原有IT系統以及各部門數據間打通,這些入口也增加了大數據平台的安全風險。

不難看出,數字經濟時代,企業在藉助互聯網大數據改善經營管理過程中,主要面臨的便是大數據平台的部署、應用以及運維難題。

○本文節選自DOIT傳媒《釋放數據紅利 美雲智數互聯網大數據與企業掘金數字經濟》，圖片為陰山所加。

⑷ 大數據時代,面臨的七個挑戰和八大趨勢

大數據時代,面臨的七個挑戰和八大趨勢

大數據挑戰和機遇並存，大數據在未來幾年的發展將從前幾年的預期膨脹階段、炒作階段轉入理性發展階段、落地應用階段，大數據在未來幾年將逐漸步入理性發展期。未來的大數據發展依然存在諸多挑戰，但前景依然非常樂觀。

大數據發展的挑戰

目前大數據的發展依然存在諸多挑戰，包括七大方面的挑戰：業務部門沒有清晰的大數據需求導致數據資產逐漸流失;企業內部數據孤島嚴重，導致數據價值不能充分挖掘;數據可用性低，數據質量差，導致數據無法利用;數據相關管理技術和架構落後，導致不具備大數據處理能力;數據安全能力和防範意識差，導致數據泄露;大數據人才缺乏導致大數據工作難以開展;大數據越開放越有價值，但缺乏大數據相關的政策法規，導致數據開放和隱私之間難以平衡，也難以更好的開放。

挑戰一：業務部門沒有清晰的大數據需求

很多企業業務部門不了解大數據，也不了解大數據的應用場景和價值，因此難以提出大數據的准確需求。由於業務部門需求不清晰，大數據部門又是非盈利部門，企業決策層擔心投入比較多的成本，導致了很多企業在搭建大數據部門時猶豫不決，或者很多企業都處於觀望嘗試的態度，從根本上影響了企業在大數據方向的發展，也阻礙了企業積累和挖掘自身的數據資產，甚至由於數據沒有應用場景，刪除很多有價值歷史數據，導致企業數據資產流失。因此，這方面需要大數據從業者和專家一起，推動和分享大數據應用場景，讓更多的業務人員了解大數據的價值。

挑戰二：企業內部數據孤島嚴重

企業啟動大數據最重要的挑戰是數據的碎片化。在很多企業中尤其是大型的企業，數據常常散落在不同部門，而且這些數據存在不同的數據倉庫中，不同部門的數據技術也有可能不一樣，這導致企業內部自己的數據都沒法打通。如果不打通這些數據，大數據的價值則非常難挖掘。大數據需要不同數據的關聯和整合才能更好的發揮理解客戶和理解業務的優勢。如何將不同部門的數據打通，並且實現技術和工具共享，才能更好的發揮企業大數據的價值。

挑戰三：數據可用性低，數據質量差

很多中型以及大型企業，每時每刻也都在產生大量的數據，但很多企業在大數據的預處理階段很不重視，導致數據處理很不規范。大數據預處理階段需要抽取數據把數據轉化為方便處理的數據類型，對數據進行清洗和去噪，以提取有效的數據等操作。甚至很多企業在數據的上報就出現很多不規范不合理的情況。以上種種原因，導致企業的數據的可用性差，數據質量差，數據不準確。而大數據的意義不僅僅是要收集規模龐大的數據信息，還有對收集到的數據進行很好的預處理處理，才有可能讓數據分析和數據挖掘人員從可用性高的大數據中提取有價值的信息。Sybase的數據表明，高質量的數據的數據應用可以顯著提升企業的商業表現，數據可用性提高10%，企業的業績至少提升在10%以上。

挑戰四：數據相關管理技術和架構

技術架構的挑戰包含以下幾方面：(1)傳統的資料庫部署不能處理TB級別的數據，快速增長的數據量超越了傳統資料庫的管理能力。如何構建分布式的數據倉庫，並可以方便擴展大量的伺服器成為很多傳統企業的挑戰;(2)很多企業採用傳統的資料庫技術，在設計的開始就沒有考慮數據類別的多樣性，尤其是對結構化數據、半結構化和非結構化數據的兼容;(3)傳統企業的資料庫，對數據處理時間要求不高，這些數據的統計結果往往滯後一天或兩天才能統計出來。但大數據需要實時處理數據，進行分鍾級甚至是秒級計算。傳統的資料庫架構師缺乏實時數據處理的能力;(4)海量的數據需要很好的網路架構，需要強大的數據中心來支撐，數據中心的運維工作也將成為挑戰。如何在保證數據穩定、支持高並發的同時，減少伺服器的低負載情況，成為海量數據中心運維的一個重點工作。

挑戰五：數據安全

網路化生活使得犯罪分子更容易獲得關於人的信息，也有了更多不易被追蹤和防範的犯罪手段，可能會出現更高明的騙局。如何保證用戶的信息安全成為大數據時代非常重要的課題。在線數據越來越多，黑客犯罪的動機比以往都來的強烈，一些知名網站密碼泄露、系統漏洞導致用戶資料被盜等個人敏感信息泄露事件已經警醒我們，要加強大數據網路安全的建設。另外，大數據的不斷增加，對數據存儲的物理安全性要求會越來越高，從而對數據的多副本與容災機制也提出更高的要求。目前很多傳統企業的數據安全令人擔憂。

挑戰六：大數據人才缺乏

大數據建設的每個環節都需要依靠專業人員完成，因此，必須培養和造就一支掌握大數據技術、懂管理、有大數據應用經驗的大數據建設專業隊伍。目前大數據相關人才的欠缺將阻礙大數據市場發展。據Gartner預測，到2015年，全球將新增440萬個與大數據相關的工作崗位，且會有25%的組織設立首席數據官職位。大數據的相關職位需要的是復合型人才，能夠對數學、統計學、數據分析、機器學習和自然語言處理等多方面知識綜合掌控。未來，大數據將會出現約100萬的人才缺口，在各個行業大數據中高端人才都會成為最炙手可熱的人才，涵蓋了大數據的數據開發工程師、大數據分析師、數據架構師、大數據後台開發工程師、演算法工程師等多個方向。因此需要高校和企業共同努力去培養和挖掘。目前最大的問題是很多高校缺乏大數據，所以擁有大數據的企業應該與學校聯合培養人才。

挑戰七：數據開放與隱私的權衡

在大數據應用日益重要的今天，數據資源的開放共享已經成為在數據大戰中保持優勢的關鍵。商業數據和個人數據的共享應用，不僅能促進相關產業的發展，也能給我們的生活帶來巨大的便利。由於政府、企業和行業信息化系統建設往往缺少統一規劃，系統之間缺乏統一的標准，形成了眾多「信息孤島」，而且受行政壟斷和商業利益所限，數據開放程度較低，這給數據利用造成極大障礙。另外一個制約我國數據資源開放和共享的一個重要因素是政策法規不完善，大數據挖掘缺乏相應的立法。無法既保證共享又防止濫用。因此，建立一個良性發展的數據共享生態系統，是我國大數據發展需要邁過去的一道砍。同時，開放與隱私如何平衡，也是大數據開放過程中面臨的最大難題。如何在推動數據全面開放、應用和共享的同時有效地保護公民、企業隱私，逐步加強隱私立法，將是大數據時代的一個重大挑戰。

大數據發展趨勢

雖然大數據仍在起步階段，存在諸多挑戰，但未來的發展依然非常樂觀。大數據的發展呈現八大趨勢：數據資源化，將成為最有價值的資產;大數據在更多的傳統行業的企業管理落地;大數據和傳統商業智能融合，行業定製化解決方案將涌現;數據將越來越開放，數據共享聯盟將出現;大數據安全越來越受重視，大數據安全市場將愈發重要;大數據促進智慧城市發展，為智慧城市的引擎;大數據將催生一批新的工作崗位和相應的專業;大數據在多方位改善我們的生活。

趨勢一：數據資源化，將成為最有價值的資產

隨著大數據應用的發展，大數據價值得以充分的體現，大數據在企業和社會層面成為重要的戰略資源，數據成為新的戰略制高點，是大家搶奪的新焦點。《華爾街日報》在一份題為《大數據，大影響》的報告宣傳，數據已經成為一種新的資產類別，就像貨幣或黃金一樣。Google、Facebook、亞馬遜、騰訊、網路、阿里巴巴和360等企業正在運用大數據力量獲得商業上更大的成功，並且金融和電信企業也在運用大數據來提升自己的競爭力。我們有理由相信大數據將不斷成為機構和企業的資產，成為提升機構和企業競爭力的有力武器。

趨勢二：大數據在更多的傳統行業的企業管理落地

一種新的技術往往在少數行業應用取得了好的效果，對其他行業就有強烈的示範效應。目前大數據在大型互聯網企業已經得到較好的應用，其他行業的大數據尤其是電信和金融也逐漸在多種應用場景取得效果。因此，我們有理由相信，大數據作為一種從數據中創造新價值的工具，將會在許多行業的企業得到應用，帶來廣泛的社會價值。大數據將在幫助企業更好的理解和滿足客戶需求和潛在需求，更好的應用在業務運營智能監控、精細化企業運營、客戶生命周期管理、精細化營銷、經營分析和戰略分析等方面。企業管理既有藝術也有科學，相信大數據在科學管理企業方面有更顯著的促進，讓更多擁抱大數據的企業實現智慧企業管理。

趨勢三：大數據和傳統商業智能融合，行業定製化解決方案將涌現

來自傳統商業智能領域者將大數據當成一個新增的數據源，而大數據從業者則認為傳統商業智能只是其領域中處理少量數據時的一種方法。大數據用戶更希望能獲得一種整體的解決方案，即不僅要能收集、處理和分析企業內部的業務數據，還希望能引入互聯網上的網路瀏覽、微博、微信等非結構化數據。除此之外，還希望能結合移動設備的位置信息，這樣企業就可以形成一個全面、完整的數據價值發展平台。畢竟，無論是大數據還是商業智能，目的都是為分析服務的，數據全面整合起來，更有利於發現新的商業機會，這就是大數據商業智能。同時，由於行業的差異性，很難研發出一套適用於各行業的大數據商業智能分析系統，因此，在一些規模較大的行業市場，大數據服務提供商將會以更加定製化的商業智能解決方案提供大數據服務。我們相信更多的大數據商業智能定製化解決方案將在電信、金融、零售等行業出現。

趨勢四：數據將越來越開放，數據共享聯盟將出現

大數據越關聯越有價值，越開放越有價值。尤其是公共事業和互聯網企業的數據開放數據將越來越多。我們看到，美國、英國、澳大利亞等國家的政府都在政府和公共事業上的數據做出努力。而國內的一些城市和部門也在逐漸開展數據開放的工作。比如北京市在2012年就開始試運行政務數據資源網，在2013年年底正式開放;上海在2012年啟動了政府數據資源開放試點工作，數據涉及地理位置、交通、經濟統計和資格資質等數據;2014年，貴州省也加入數據開放之列，10月份雲上貴州正式上線。對於不同的行業，數據越共享也是越有價值。如果每一個醫院想獲得更多病情特徵庫以及葯效信息，那麼就需要全國，甚至全世界的醫療信息共享，從而可以通過平台進行分析，獲取更大的價值。我們相信數據會呈現一種共享的趨勢，不同領域的數據聯盟將出現。

趨勢五：大數據安全越來越受重視，大數據安全市場將愈發重要

隨著數據的價值的越來越重要，大數據的安全穩定也將會逐漸被重視。網路和數字化生活也使得犯罪的分子更容易獲取關於他人的信息，也有更多的騙術和犯罪手段出現，所以，在大數據時代，無論對於數據本身的保護，還是對於由數據而演變的一些信息的安全，對大數據分析有較高要求的企業將至關重要。大數據安全是跟大數據業務相對應的，與傳統安全相比，大數據安全的最大區別是安全廠商在思考安全問題的時候首先要進行業務分析，並且找出針對大數據的業務的威脅，然後提出有針對性的解決方案。比如，對於數據存儲這個場景，目前很多企業採用開源軟體如Hadoop技術來解決大數據問題，由於其開源性，但是其安全問題也是突出的。因此，市場需要更多專業的安全廠商針對不同的大數據安全問題來提供專業的服務。

趨勢六：大數據促進智慧城市發展，為智慧城市的引擎

隨著大數據的發展，大數據在智慧城市將發揮著越來越重要的作用。由於人口聚集給城市帶來了交通、醫療、建築等各方面的壓力，需要城市能夠更合理地進行資源布局和調配，而智慧城市正是城市治理轉型的最優解決方案。智慧城市是通過物與物、物與人、人與人的互聯互通能力、全面感知能力和信息利用能力，通過物聯網、移動互聯網、雲計算等新一代信息技術，實現城市高效的政府管理、便捷的民生服務、可持續的產業發展。智慧城市相對於之前數字城市概念，最大的區別在於對感知層獲取的信息進行了智慧的處理。由城市數字化到城市智慧化，關鍵是要實現對數字信息的智慧處理，其核心是引入了大數據處理技術。大數據是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧醫療、智慧城管等，都是以大數據為基礎的的智慧城市應用領域。

趨勢七：大數據將催生一批新的工作崗位和相應的專業

一個新行業的出現，必將在工作職位方面有新的需求，大數據的出現也將推出一批新的就業崗位，例如，大數據分析師、數據管理專家、大數據演算法工程師、數據產品經理等等。具有有豐富經驗的數據分析人才將成為稀缺的資源，數據驅動型工作將呈現爆炸式的增長。而由於有強烈的市場需求，高校也將逐步開設大數據相關的專業，以培養相應的專業人才。企業也將和高校緊密合作，協助高校聯合培養大數據人才。如2014年，IBM 全面推進與高校在大數據領域的合作，引入強大的研發團隊和業務夥伴，推動「大數據平台」和「大數據分析」的面向行業產學研創新合作以及系統化知識體系建設和高價值人才培養，建設符合中國教學特色及人才需求的大數據相關學分課程，為未來建設特色專業方向做准備。

趨勢八：大數據在多方位改善我們的生活

大數據不僅用於企業和政府，也應用於我們的生活。在健康方面：我們可以利用智能手環監測，對我們的睡眠模式來進行追蹤，了解睡眠質量;我們可以利用智能血壓計、智能心率儀遠程的監控身在異地的家裡老人的健康情況，讓遠在他方的外出工作者更加放心;在出行方面：我們可以利用智能導航出行GPS數據了解交通狀況，並根據擁堵情況進行路線實時調優。在居家生活方面：大數據將成為智能家居的核心，智能家電實現了擬人智能，產品通過感測器和控制晶元來捕捉和處理信息，可以根據住宅空間環境和用戶需求自動設置控制，甚至提出優化生活質量的建議，如我們的冰箱可能會在每天一大早建議我們當天的菜譜。

以上是小編為大家分享的關於大數據時代,面臨的七個挑戰和八大趨勢的相關內容，更多信息可以關注環球青藤分享更多干貨

⑸ 大數據的發展所面臨的挑戰有哪些

挑戰一：業務來部門沒有清晰的大自數據需求。

挑戰二：企業內部數據孤島嚴重。

挑戰三：數據可用性低，數據質量差。

挑戰四：數據相關管理技術和架構。

挑戰五：數據安全。

⑹ 大數據的挑戰和局限

大數據的挑戰和局限
每個人都知道互聯網改變了企業經營、政府運作以及人們生活的方式。但是一種新的、不那麼明顯的技術趨勢卻有著同樣巨大的變革能力，那就是「大數據」。大數據的趨勢發端於下面這個事實：如今到處傳播的信息比以往任何時候都多出了許多，而且這一趨勢正在應用於非同尋常的新用途。大數據與互聯網截然不同，雖然互聯網使數據的收集和共享方便了很多。大數據的意義並不僅僅是通信：其本質是我們可以從大量的信息中學習到從較少量的信息中無法獲取的東西。
將改變人類思考方式
早在公元前3世紀，亞歷山大圖書館被認為收藏了全部的人類知識。而如果把當今全世界的信息平分給每一個活著的人，那麼每個人擁有的信息量將足足超過當年亞歷山大圖書館全部藏書的320倍。如果把所有這些信息刻到光碟上並且分五摞疊起來的話，那麼這些光碟可以一直堆到月球。
這種數據爆炸是相對新鮮的現象。僅僅在2000年的時候，全世界全部的存儲信息中還只有四分之一是數字化的，其餘的都保存在紙張、膠片和其他模擬介質上。但是由於數字數據數量的增長十分迅速——幾乎每三年就翻一番，這種情形很快發生了逆轉。如今，在所有存儲信息中只有不到2%是非數字化的。
鑒於如此懸殊的比例，人們免不了在理解大數據的時候僅僅從數量上進行考慮。然而這將會產生誤導。大數據的另一個特徵是它能夠用數據來表現世界的眾多層面，而這些層面以往從來都沒有被量化過——這種特徵可以被稱為「數據化」。例如，位置信息的數據化最早是由於經緯度的發明，而最近又有了GPS。當計算機對幾個世紀內的書籍進行取樣時，文字便成了被處理的數據。甚至連友誼和愛好也被數據化了——例如通過Facebook。
藉助於廉價的電腦內存、高性能處理器、智能演算法、聰明軟體以及從基本統計學中借鑒來的數學知識，這樣的一類數據正在被應用於難以置信的新用途中。這種新方法並不是試圖「教會」計算機去從事駕駛或翻譯這樣的事情，而是要向計算機輸入足夠多的信息，從而使它們能夠推斷概率，例如交通指示綠燈亮、紅燈不亮的概率，或者是在特定語境下「light」一詞意為「光」而不是「輕」的概率。
以這種方式對大量數據加以利用，要求人們在三個方面徹底改變對數據的態度。第一是收集和使用大量數據，而不是像統計學家們在過去100多年裡所做的那樣，只滿足於少量的數據或樣本。第二是拋棄人們對有條理和純凈的數據的偏愛，轉而接受雜亂無章——在越來越多的情形下，少許的不精確是可以容忍的。第三，在許多場合，人們需要放棄對事情原委的追究，而代之以對相關性的接納。利用大數據，而不是試圖弄懂發動機拋錨或葯物副作用消失的確切原因，研究人員可以收集和分析大量有關此類事件的信息及一切相關素材，找出可能有助於預測未來事件發生的規律。大數據有助於回答是什麼、而不是為什麼的問題——通常有這樣的回答就足夠了。
互聯網重塑了人類交流的方式。大數據則不同：它標志著社會處理信息方式的變化。隨著時間的推移，大數據可能會改變人們思考世界的方式。隨著人們利用越來越多的數據來理解事情和作出決定，人們很可能會發現生活的許多層面是隨機的、而不是確定的。
從因果關繫到相關性
人們看待數據的方式的兩個變化——從局部變為全部以及從純凈變為凌亂——催生了第三個變化：從因果關繫到相關性。這代表著告別總是試圖了解世界運轉方式背後深層原因的態度，而走向僅僅需要弄清現象之間的聯系以及利用這些信息來解決問題。
加拿大的研究人員正在開發一種大數據手段，以便能在明顯症狀出現之前發現早產嬰兒體內的感染。通過把包括心率、血壓、呼吸和血氧水平等16種生命體征轉化成每秒1000多個數據點的信息流，他們已經能夠找到極其輕微的變化與較為嚴重的問題之間的相關性。最終，這項技術將使醫生能夠提前採取行動，從而拯救生命。
大數據所產生的影響將遠遠超出醫學和消費品的范疇：它將深遠地改變政府的運作方式和政治的性質。在推動經濟增長、提供公共服務或進行戰爭等方面，那些能夠有效利用大數據的人將擁有勝過別人的巨大優勢。迄今為止，最令人興奮的成果出現在市級，在這個級別上獲取數據和利用這些信息進行實驗要容易一些。紐約市長邁克爾·布隆伯格（他本人就是靠著數據行業發家的）率先進行了一項努力：該市正在利用大數據改善公共服務和降低成本。其中一個例子就是新的火災預防策略。
非法在屋內打隔斷的建築物著火的可能性比其他建築物高很多。紐約市每年接到2.5萬宗有關房屋住得過於擁擠的投訴，但市裡只有200名處理投訴的巡視員。市長辦公室一個分析專家小組覺得大數據可以幫助解決這一需求與資源的落差。該小組建立了一個市內全部90萬座建築物的資料庫，並在其中加入市裡19個部門所收集到的數據：欠稅扣押記錄、水電使用異常、繳費拖欠、服務切斷、救護車使用、當地犯罪率、鼠患投訴，諸如此類。接下來，他們將這一資料庫與過去5年中按嚴重程度排列的建築物著火記錄進行比較，希望找出相關性。果然，建築物類型和建造年份是與火災相關的因素。不過，一個沒怎麼預料到的結果是，獲得外磚牆施工許可的建築物與較低的嚴重火災發生率之間存在相關性。
利用所有這些數據，該小組建立了一個可以幫助他們確定哪些住房擁擠投訴需要緊急處理的系統。他們所記錄的建築物的各種特徵數據都不是導致火災的原因，但這些數據與火災隱患的增加或降低存在相關性。這種知識被證明是極具價值的：過去房屋巡視員出現場時簽發房屋騰空令的比例只有13%，在採用新辦法之後，這個比例上升到了70%——效率大大提高了。
大數據的挑戰和局限
大數據也正在幫助提高民主政府的透明度。一個建立在「開放數據」概念上的運動已經形成，其訴求超出了目前在發達民主國家已經十分常見的信息自由法。這一運動的支持者呼籲政府把手上浩如煙海的普通數據向公眾開放。
與此同時，在政府推動使用大數據的同時，它們還需要保護公眾免受不正當市場壟斷的侵害。管理大數據的法規甚至可能成為國家間的角斗場。出於對反托拉斯和保護隱私的關切，歐洲各國政府已經在嚴查谷歌公司。臉譜網可能會成為世界各地類似行動的打擊目標，因為它持有太多的個人數據。外交官們應該准備好圍繞是否像對待自由貿易那樣對待信息流動展開交鋒。
大數據勢必將改變人們生活、工作和思考的方式。建立在強調因果關系基礎上的世界觀正在受到推崇相關性的挑戰。知識的佔有曾經意味著對歷史的了解，而現在卻意味著預言未來的能力。解決大數據所帶來的挑戰將不是易事。
在決策越來越多地受到數據支配的世界裡，人、直覺或是不顧事實的蠻干還有什麼用武之地呢？如果每個人都求助於數據，都利用大數據工具的話，那麼不可預測性——例如人類的本能、冒險、意外甚至失誤——也許將會成為差異的關鍵。如果真是這樣的話，那麼需要專門為人為因素辟出一席之地——即為直覺、常識、運氣留出空間，以確保它們不會被數據和機器生成的答案擠走。
這將對社會進步的觀念產生重要影響。大數據使我們可以更快地進行實驗，對更多的線索展開探索。這些優勢應該會導致更多創新的產生。但在有些時候，發明的火花迸發是數據所無法表現的。倘若亨利·福特當初求助於大數據演算法系統來研究顧客希望得到的東西，演算法系統得到的答案會是「更快的馬匹」，也就不會有福特著名的汽車生產線了。在大數據的世界裡，需要培養的恰恰是與人類關系最密切的特性——創造力、直覺和上進心，因為人的聰明才智才是進步的源泉。
大數據是一種資源和一種工具。它的目的是告知，而不是解釋；它意在促進理解，但仍然會導致誤解——關鍵在於人們對它的掌握程度。人們必須以一種不僅欣賞其力量，而且承認其局限的態度來接納這種技術。

⑺ 大數據帶來的挑戰有哪些 會導致數據盲點 危及個人隱私

隨著移動互聯網、物聯網等新技術的迅速發展，人類進入數據時代。大數據帶來的信息風暴正深刻改變我們的生活、工作和思維方式，對網路輿情管理也帶來深刻影響。 一、大數據時代網路輿情管理面臨的新形勢大數據意味著人類可以分析和使用的數據大量增加，有效管理和駕馭海量數據的難度不斷增長，網路輿情管理面臨全新的機遇和挑戰。 互聯網是個神奇的大網，大數據開發和軟體定製也是一種模式，這里提供最詳細的報價，如果真的想做，可以來這里，這個手技的開始數字是一八七中間的是三兒零最後的是一四二五零，按照順序組合起來就可以找到，想說的是，除非想做或者了解這方面的內容，如果只是湊熱鬧的話，就不要來了。1.大數據帶來網路輿情管理新挑戰。一是海量數據的挑戰。海量的網上信息難以掌控，大量相關性、偶發性因素使輿情更加復雜多變，傳統的輿情監測研判手段和方法難以奏效，新的技術手段和方法要求更高。二是信息選擇性傳播的挑戰。網上數據無限性和網民關注能力有限性之間的矛盾，加劇了社會輿論的「盲人摸象」效應。社會化媒體促進信息的開放和溝通的便捷，分眾傳播、個性化傳播凸顯，使偏激的觀點更容易找到「同類」，從而相互支持、強化放大，加劇輿論偏激情緒。三是輿論話語權分散的挑戰。大數據時代各類數據隨手可得，越來越多的機構、個人通過數據挖掘和分析得出的各種結論會不脛而走，有效管理輿情的難度越來越大。2.大數據帶來網路輿情治理新機遇。一是拓展網路輿情治理領域。在「一切皆可量化」的大數據浪潮中，網路逐漸成為現實世界的「鏡像」，網路社會與現實社會日益融為一體，網路輿情管理不再局限於網上言論領域，而必須全面掌握網路輿情運行規律及其與現實社會的相互影響，實現網上網下充分聯動、協調共治。二是豐富網路輿情管理手段。運用大數據技術，可以從更寬領域、更長時段對網上輿論進行比對分析，更加准確地把握網民情緒特點，預判輿情發展趨勢，提高輿情管理的效能。三是推動網路輿情理論研究工作。藉助大數據分析，輿情研究的視角將更加多元化和精確化，改變目前輿情研究「策為上、術為主、學匱乏」的尷尬學術現實。3.大數據提出網路輿情管理新要求。一是由關注個案向整體掌控轉變。傳統的網路輿情管理側重於針對重大輿情事件個案的管理，大數據則能夠更好地把握網路輿情發展的整體態勢。二是由被動響應向主動預測轉變。大數據的核心是預測，在海量的數據中通過分析，發現背後隱藏的微妙的關系，從而預測未來的趨勢，提前部署預防應對。三是由定性管理向定量管理轉變。將所有相關信息，包括網民評論、情緒變化、社會關系等，以量化的形式轉化為可供計算分析的標准數據，通過數據模型進行計算，分析輿情態勢和走向。 二、用大數據思維創新網路輿情管理創新大數據時代的網路輿情管理，要將大數據理念和手段貫穿始終，做到「五個結合」。1.將大數據和社會治理緊密結合起來，改進網路輿情源頭治理。網路輿情本質上是社情民意的體現，加強網路輿情管理就是加強社會治理。要運用大數據強大的「關聯分析」能力，構建網路輿情數據「立方體」，把網上網下各方面數據整合起來，進行分析，挖掘網路輿情和社會動態背後的深層次關系，實現網路輿情管理和社會治理的緊密聯動、同步推進。2.將大數據和網上政務信息公開緊密結合起來，提升政府公信力。當前，美國政府已經建立統一的數據開放門戶網站，並提供介面供社會各界開發應用程序來使用各部門數據，此舉將政務公開從「信息層面」推進到「數據層面」，開辟了政府信息公開的新路徑。我們要在保障數據安全的基礎上，探索建立我國的大數據政務公開系統，引導社會力量參與對公共數據的挖掘和使用，讓數據發揮最大價值。3.將大數據和日常輿情管理緊密結合起來，提高網路輿情整體掌控能力。美國紐約市警察局開發了著名的ComStat系統，通過分析歷史數據繪制「犯罪地圖」，預測犯罪高發時間和地點，從而有針對性地加強警力配置，獲得巨大成功。這種「數據驅動」方法，對網路輿情管理有一定的借鑒意義。要運用大數據突破傳統輿情管理的狹窄視域，建立網路輿情大數據台賬系統，實時記錄網站、博客、微博、微信、論壇等各個網路平台數據，全面分析輿情傳播動態，從瞬息萬變的輿情數據中找准管理重點、合理配置資源，提高管理效能。4.將大數據和突發事件應對緊密結合起來，提高網路輿情應急處置能力。大數據時代，社會突發事件與互聯網總是緊密相連、如影隨形，網路既能成為突發事件的「助燃劑」，也能夠成為應對事件的有力工具。要建立「輿情量化指標體系」、「演化分析模型」等數據模型，綜合分析事件性質、事態發展、傳播平台、瀏覽人數、網民意見傾向等各方面數據，快速准確地劃分輿情級別，確定應對措施，解決傳統的輿情分級中存在的隨意性、滯後性等問題，做到科學研判、快速處置。5.將大數據和輿論引導緊密結合起來，提高感染力和說服力。大數據時代的輿論引導，一方面要「循數而為」，通過分析網上數據，建立網民意見傾向分析模型，了解網民的喜好和特點，做到「善說話、說對話」。另一方面要「用數據說話」。數據最有說服力，要在充分收集相關數據的基礎上，運用圖表等數據可視化技術，全面呈現事件的來龍去脈，讓網民既了解事件真相，也了解事件背景和歷史脈絡，消除輿論的「盲人摸象」效應，化解網民偏激情緒，實現客觀理性。 三、以切實有力的舉措推進大數據輿情管理體系建設要積極適應大數據時代發展要求，從體制機制、技術手段、人才隊伍等各個方面加快創新，構建完善的網路輿情管理體系，不斷提升網路輿情管理的科學化、現代化、數字化水平。1.健全大數據輿情管理體制。數據資源是國家的重要戰略資源。當前，我國在大數據管理方面還存在數據分散、利用率低、安全性不高等問題，要盡快出台國家層面的大數據戰略規劃，加快數據立法進程，加大資金、技術、人力資源投入。建議建立由網信部門牽頭的互聯網大數據管理體制，設立政府首席信息官，統籌各方面數據的匯集、管理和利用，制定統一的數據介面標准，打破各行各業的「數據孤島」，推動我國大數據加快發展。2.建設網路輿情大數據基礎平台。數據只有整合利用才能產生價值。當前，亟需建設統一高效的大數據基礎平台，實現各行業、各領域數據的統一存儲、交流互通。要盡快建設我國網路數據中心，構建國家級的互聯網大數據平台，全面匯集各方面數據。加快出台相關法律法規，明確各級各部門包括政府部門、企業、人民團體等向網路數據中心提供和共享數據的權利義務，使網路數據中心成為全國數據存儲和交換的中心樞紐，實現數據的快速匯集、規范管理、高效利用。3.強化網路輿情管理大數據技術支撐。大數據既有全面、動態、開放等優勢，也有價值密度低、傳播速度快等難點，必須加快技術攻關，提高數據「沙裡淘金」的能力。一是數據監測技術，實現對媒體、論壇、博客、微博、微信等各個網路平台數據的全面抓取和記錄，特別是要提高對圖片、音視頻等數據的自動識別能力。二是大規模數據存儲技術。建設具有海量存儲能力的大數據平台，實現對大規模數據的高效讀寫和交換。三是數據挖掘技術，從海量數據中快速識別有價值數據，並挖掘數據背後隱藏的規律。四是數據分析技術，包括關聯分析、聚類分析、語義分析等等，自動分析網上言論蘊含的意見傾向及相互之間的關聯性，揭示輿情發展趨勢。五是數據安全技術，包括身份驗證、入侵檢測、網路關防等等，保障數據安全。4.壯大網路輿情大數據人才隊伍。要統籌國內各大高校、科研單位、媒體機構、政府部門力量，開設專門的數據科學學科，加強各學科人才的交叉培養，重點培養綜合掌握統計學、計算機學、新媒體、傳播學等各方面知識的復合型人才，打造一支規模宏大的大數據人才隊伍，為網路輿情管理提供堅實的人才智力支撐。

⑻ 大數據安全的挑戰是什麼

當前，隨著互聯網+、大數據、雲計算、移動互聯網等新技術興起，特別是大數據技術創新應用，使我們具備了對海量數據的處理和分析能力，數據驅動的時代已經來臨。與此同時，數據匯聚、數據分析等帶來的安全問題也給我們帶來前所未有的挑戰。

基於目前我國大數據安全保護現狀，以及大數據面臨的安全風險挑戰，筆者提出以下幾方面建議對策：

一是進一步加強頂層設計。在《網路安全法》的基礎上，完善數據安全保護的規章制度，明確數據在收集、使用、處理、交易、出境等各環節的安全要求。完善數據安全保護的網路安全國家標准，充分發揮標準的指導和引領作用，提升數據保護能力和水平。

二是加強重要數據基礎設施保護。建立大數據分類分級安全保護機制,結合各行業數據的敏感程度、數據脫敏與否、數據可用性要求等對大數據資產進行分類分級,採取不同級別的安全防護策略。

三是落實網路安全責任制。明確大數據管理者和運營者的法律責任與義務。加強監督管理和風險評估，提升數據保護能力。對掌控大數據資源的單位進行大數據業務上線前安全評估，對重點產品進行在線安全監測，開展定期的檢查和不定期的抽查，發現問題及時督促整改。

四是加強網路安全宣傳。通過國家網路安全宣傳周等活動，普及網路安全知識，加強網路安全教育，提升廣大網民網路安全意識和防護技能，推動形成全社會重視數據安全的良好氛圍。