導航:首頁 > 網路數據 > 大數據時代帶來的隱憂

大數據時代帶來的隱憂

發布時間:2024-06-04 06:19:23

大數據時代,面臨的七個挑戰和八大趨勢

大數據時代,面臨的七個挑戰和八大趨勢

大數據挑戰和機遇並存,大數據在未來幾年的發展將從前幾年的預期膨脹階段、炒作階段轉入理性發展階段、落地應用階段,大數據在未來幾年將逐漸步入理性發展期。未來的大數據發展依然存在諸多挑戰,但前景依然非常樂觀。

大數據發展的挑戰

目前大數據的發展依然存在諸多挑戰,包括七大方面的挑戰:業務部門沒有清晰的大數據需求導致數據資產逐漸流失;企業內部數據孤島嚴重,導致數據價值不能充分挖掘;數據可用性低,數據質量差,導致數據無法利用;數據相關管理技術和架構落後,導致不具備大數據處理能力;數據安全能力和防範意識差,導致數據泄露;大數據人才缺乏導致大數據工作難以開展;大數據越開放越有價值,但缺乏大數據相關的政策法規,導致數據開放和隱私之間難以平衡,也難以更好的開放。

挑戰一:業務部門沒有清晰的大數據需求

很多企業業務部門不了解大數據,也不了解大數據的應用場景和價值,因此難以提出大數據的准確需求。由於業務部門需求不清晰,大數據部門又是非盈利部門,企業決策層擔心投入比較多的成本,導致了很多企業在搭建大數據部門時猶豫不決,或者很多企業都處於觀望嘗試的態度,從根本上影響了企業在大數據方向的發展,也阻礙了企業積累和挖掘自身的數據資產,甚至由於數據沒有應用場景,刪除很多有價值歷史數據,導致企業數據資產流失。因此,這方面需要大數據從業者和專家一起,推動和分享大數據應用場景,讓更多的業務人員了解大數據的價值。

挑戰二:企業內部數據孤島嚴重

企業啟動大數據最重要的挑戰是數據的碎片化。在很多企業中尤其是大型的企業,數據常常散落在不同部門,而且這些數據存在不同的數據倉庫中,不同部門的數據技術也有可能不一樣,這導致企業內部自己的數據都沒法打通。如果不打通這些數據,大數據的價值則非常難挖掘。大數據需要不同數據的關聯和整合才能更好的發揮理解客戶和理解業務的優勢。如何將不同部門的數據打通,並且實現技術和工具共享,才能更好的發揮企業大數據的價值。

挑戰三:數據可用性低,數據質量差

很多中型以及大型企業,每時每刻也都在產生大量的數據,但很多企業在大數據的預處理階段很不重視,導致數據處理很不規范。大數據預處理階段需要抽取數據把數據轉化為方便處理的數據類型,對數據進行清洗和去噪,以提取有效的數據等操作。甚至很多企業在數據的上報就出現很多不規范不合理的情況。以上種種原因,導致企業的數據的可用性差,數據質量差,數據不準確。而大數據的意義不僅僅是要收集規模龐大的數據信息,還有對收集到的數據進行很好的預處理處理,才有可能讓數據分析和數據挖掘人員從可用性高的大數據中提取有價值的信息。Sybase的數據表明,高質量的數據的數據應用可以顯著提升企業的商業表現,數據可用性提高10%,企業的業績至少提升在10%以上。

挑戰四:數據相關管理技術和架構

技術架構的挑戰包含以下幾方面:(1)傳統的資料庫部署不能處理TB級別的數據,快速增長的數據量超越了傳統資料庫的管理能力。如何構建分布式的數據倉庫,並可以方便擴展大量的伺服器成為很多傳統企業的挑戰;(2)很多企業採用傳統的資料庫技術,在設計的開始就沒有考慮數據類別的多樣性,尤其是對結構化數據、半結構化和非結構化數據的兼容;(3)傳統企業的資料庫,對數據處理時間要求不高,這些數據的統計結果往往滯後一天或兩天才能統計出來。但大數據需要實時處理數據,進行分鍾級甚至是秒級計算。傳統的資料庫架構師缺乏實時數據處理的能力;(4)海量的數據需要很好的網路架構,需要強大的數據中心來支撐,數據中心的運維工作也將成為挑戰。如何在保證數據穩定、支持高並發的同時,減少伺服器的低負載情況,成為海量數據中心運維的一個重點工作。

挑戰五:數據安全

網路化生活使得犯罪分子更容易獲得關於人的信息,也有了更多不易被追蹤和防範的犯罪手段,可能會出現更高明的騙局。如何保證用戶的信息安全成為大數據時代非常重要的課題。在線數據越來越多,黑客犯罪的動機比以往都來的強烈,一些知名網站密碼泄露、系統漏洞導致用戶資料被盜等個人敏感信息泄露事件已經警醒我們,要加強大數據網路安全的建設。另外,大數據的不斷增加,對數據存儲的物理安全性要求會越來越高,從而對數據的多副本與容災機制也提出更高的要求。目前很多傳統企業的數據安全令人擔憂。

挑戰六:大數據人才缺乏

大數據建設的每個環節都需要依靠專業人員完成,因此,必須培養和造就一支掌握大數據技術、懂管理、有大數據應用經驗的大數據建設專業隊伍。目前大數據相關人才的欠缺將阻礙大數據市場發展。據Gartner預測,到2015年,全球將新增440萬個與大數據相關的工作崗位,且會有25%的組織設立首席數據官職位。大數據的相關職位需要的是復合型人才,能夠對數學、統計學、數據分析、機器學習和自然語言處理等多方面知識綜合掌控。未來,大數據將會出現約100萬的人才缺口,在各個行業大數據中高端人才都會成為最炙手可熱的人才,涵蓋了大數據的數據開發工程師、大數據分析師、數據架構師、大數據後台開發工程師、演算法工程師等多個方向。因此需要高校和企業共同努力去培養和挖掘。目前最大的問題是很多高校缺乏大數據,所以擁有大數據的企業應該與學校聯合培養人才。

挑戰七:數據開放與隱私的權衡

在大數據應用日益重要的今天,數據資源的開放共享已經成為在數據大戰中保持優勢的關鍵。商業數據和個人數據的共享應用,不僅能促進相關產業的發展,也能給我們的生活帶來巨大的便利。由於政府、企業和行業信息化系統建設往往缺少統一規劃,系統之間缺乏統一的標准,形成了眾多「信息孤島」,而且受行政壟斷和商業利益所限,數據開放程度較低,這給數據利用造成極大障礙。另外一個制約我國數據資源開放和共享的一個重要因素是政策法規不完善,大數據挖掘缺乏相應的立法。無法既保證共享又防止濫用。因此,建立一個良性發展的數據共享生態系統,是我國大數據發展需要邁過去的一道砍。同時,開放與隱私如何平衡,也是大數據開放過程中面臨的最大難題。如何在推動數據全面開放、應用和共享的同時有效地保護公民、企業隱私,逐步加強隱私立法,將是大數據時代的一個重大挑戰。

大數據發展趨勢

雖然大數據仍在起步階段,存在諸多挑戰,但未來的發展依然非常樂觀。大數據的發展呈現八大趨勢:數據資源化,將成為最有價值的資產;大數據在更多的傳統行業的企業管理落地;大數據和傳統商業智能融合,行業定製化解決方案將涌現;數據將越來越開放,數據共享聯盟將出現;大數據安全越來越受重視,大數據安全市場將愈發重要;大數據促進智慧城市發展,為智慧城市的引擎;大數據將催生一批新的工作崗位和相應的專業;大數據在多方位改善我們的生活。

趨勢一:數據資源化,將成為最有價值的資產

隨著大數據應用的發展,大數據價值得以充分的體現,大數據在企業和社會層面成為重要的戰略資源,數據成為新的戰略制高點,是大家搶奪的新焦點。《華爾街日報》在一份題為《大數據,大影響》的報告宣傳,數據已經成為一種新的資產類別,就像貨幣或黃金一樣。Google、Facebook、亞馬遜、騰訊、網路、阿里巴巴和360等企業正在運用大數據力量獲得商業上更大的成功,並且金融和電信企業也在運用大數據來提升自己的競爭力。我們有理由相信大數據將不斷成為機構和企業的資產,成為提升機構和企業競爭力的有力武器。

趨勢二:大數據在更多的傳統行業的企業管理落地

一種新的技術往往在少數行業應用取得了好的效果,對其他行業就有強烈的示範效應。目前大數據在大型互聯網企業已經得到較好的應用,其他行業的大數據尤其是電信和金融也逐漸在多種應用場景取得效果。因此,我們有理由相信,大數據作為一種從數據中創造新價值的工具,將會在許多行業的企業得到應用,帶來廣泛的社會價值。大數據將在幫助企業更好的理解和滿足客戶需求和潛在需求,更好的應用在業務運營智能監控、精細化企業運營、客戶生命周期管理、精細化營銷、經營分析和戰略分析等方面。企業管理既有藝術也有科學,相信大數據在科學管理企業方面有更顯著的促進,讓更多擁抱大數據的企業實現智慧企業管理。

趨勢三:大數據和傳統商業智能融合,行業定製化解決方案將涌現

來自傳統商業智能領域者將大數據當成一個新增的數據源,而大數據從業者則認為傳統商業智能只是其領域中處理少量數據時的一種方法。大數據用戶更希望能獲得一種整體的解決方案,即不僅要能收集、處理和分析企業內部的業務數據,還希望能引入互聯網上的網路瀏覽、微博、微信等非結構化數據。除此之外,還希望能結合移動設備的位置信息,這樣企業就可以形成一個全面、完整的數據價值發展平台。畢竟,無論是大數據還是商業智能,目的都是為分析服務的,數據全面整合起來,更有利於發現新的商業機會,這就是大數據商業智能。同時,由於行業的差異性,很難研發出一套適用於各行業的大數據商業智能分析系統,因此,在一些規模較大的行業市場,大數據服務提供商將會以更加定製化的商業智能解決方案提供大數據服務。我們相信更多的大數據商業智能定製化解決方案將在電信、金融、零售等行業出現。

趨勢四:數據將越來越開放,數據共享聯盟將出現

大數據越關聯越有價值,越開放越有價值。尤其是公共事業和互聯網企業的數據開放數據將越來越多。我們看到,美國、英國、澳大利亞等國家的政府都在政府和公共事業上的數據做出努力。而國內的一些城市和部門也在逐漸開展數據開放的工作。比如北京市在2012年就開始試運行政務數據資源網,在2013年年底正式開放;上海在2012年啟動了政府數據資源開放試點工作,數據涉及地理位置、交通、經濟統計和資格資質等數據;2014年,貴州省也加入數據開放之列,10月份雲上貴州正式上線。對於不同的行業,數據越共享也是越有價值。如果每一個醫院想獲得更多病情特徵庫以及葯效信息,那麼就需要全國,甚至全世界的醫療信息共享,從而可以通過平台進行分析,獲取更大的價值。我們相信數據會呈現一種共享的趨勢,不同領域的數據聯盟將出現。

趨勢五:大數據安全越來越受重視,大數據安全市場將愈發重要

隨著數據的價值的越來越重要,大數據的安全穩定也將會逐漸被重視。網路和數字化生活也使得犯罪的分子更容易獲取關於他人的信息,也有更多的騙術和犯罪手段出現,所以,在大數據時代,無論對於數據本身的保護,還是對於由數據而演變的一些信息的安全,對大數據分析有較高要求的企業將至關重要。大數據安全是跟大數據業務相對應的,與傳統安全相比,大數據安全的最大區別是安全廠商在思考安全問題的時候首先要進行業務分析,並且找出針對大數據的業務的威脅,然後提出有針對性的解決方案。比如,對於數據存儲這個場景,目前很多企業採用開源軟體如Hadoop技術來解決大數據問題,由於其開源性,但是其安全問題也是突出的。因此,市場需要更多專業的安全廠商針對不同的大數據安全問題來提供專業的服務。

趨勢六:大數據促進智慧城市發展,為智慧城市的引擎

隨著大數據的發展,大數據在智慧城市將發揮著越來越重要的作用。由於人口聚集給城市帶來了交通、醫療、建築等各方面的壓力,需要城市能夠更合理地進行資源布局和調配,而智慧城市正是城市治理轉型的最優解決方案。智慧城市是通過物與物、物與人、人與人的互聯互通能力、全面感知能力和信息利用能力,通過物聯網、移動互聯網、雲計算等新一代信息技術,實現城市高效的政府管理、便捷的民生服務、可持續的產業發展。智慧城市相對於之前數字城市概念,最大的區別在於對感知層獲取的信息進行了智慧的處理。由城市數字化到城市智慧化,關鍵是要實現對數字信息的智慧處理,其核心是引入了大數據處理技術。大數據是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧醫療、智慧城管等,都是以大數據為基礎的的智慧城市應用領域。

趨勢七:大數據將催生一批新的工作崗位和相應的專業

一個新行業的出現,必將在工作職位方面有新的需求,大數據的出現也將推出一批新的就業崗位,例如,大數據分析師、數據管理專家、大數據演算法工程師、數據產品經理等等。具有有豐富經驗的數據分析人才將成為稀缺的資源,數據驅動型工作將呈現爆炸式的增長。而由於有強烈的市場需求,高校也將逐步開設大數據相關的專業,以培養相應的專業人才。企業也將和高校緊密合作,協助高校聯合培養大數據人才。如2014年,IBM 全面推進與高校在大數據領域的合作,引入強大的研發團隊和業務夥伴,推動「大數據平台」和「大數據分析」的面向行業產學研創新合作以及系統化知識體系建設和高價值人才培養,建設符合中國教學特色及人才需求的大數據相關學分課程,為未來建設特色專業方向做准備。

趨勢八:大數據在多方位改善我們的生活

大數據不僅用於企業和政府,也應用於我們的生活。在健康方面:我們可以利用智能手環監測,對我們的睡眠模式來進行追蹤,了解睡眠質量;我們可以利用智能血壓計、智能心率儀遠程的監控身在異地的家裡老人的健康情況,讓遠在他方的外出工作者更加放心;在出行方面:我們可以利用智能導航出行GPS數據了解交通狀況,並根據擁堵情況進行路線實時調優。在居家生活方面:大數據將成為智能家居的核心,智能家電實現了擬人智能,產品通過感測器和控制晶元來捕捉和處理信息,可以根據住宅空間環境和用戶需求自動設置控制,甚至提出優化生活質量的建議,如我們的冰箱可能會在每天一大早建議我們當天的菜譜。

以上是小編為大家分享的關於大數據時代,面臨的七個挑戰和八大趨勢的相關內容,更多信息可以關注環球青藤分享更多干貨

Ⅱ 大數據給人們帶來很多好處,還存在哪些弊端

如今大數據是一個很火的話題,常常我們通過大數據擁有了很多便利。大數據在我們生活中扮演著很重要的作用,不過我們也要警惕大數據存在的弊端。接下來就一起來看一下大數據都有哪些弊端吧。 任何事情都有兩面性,我們也不能因為大數據的弊端而否定了它帶給我們生活的便利。也希望數據能夠被妥善保管,不要隨意泄露用戶隱私。商家不要利用大數據最大化賺錢,否則也會失去用戶的支持。
各位讀者,你們又有怎樣的看法呢?歡迎在評論區里留言討論一下。

Ⅲ 大數據時代 機遇與風險

大數據時代 機遇與風險

大數據時代的到來,對於犯罪案件破獲、新型產品研發等都起到了其不可替代的作用,但問題也隨之而來,最終數據的採集者如何使用其所收集到的數據,將對社會及個人帶來不一樣的效果。

中國人民大學民商事法律科學研究中心網路法研究所副所長朱巍在「2014中國公司法務年會(北京會場)」上呼籲:「企業在做新技術、新研發時應更多的尊重個人信息安全和消費者隱私權。」

他指出,我國涉及個人隱私的法律法規現有200餘部,但針對個人信息保護的法律並沒有,而現在我國部分互聯網企業,通過業務建立徵信系統,在沒有明確法律法規作為指導的情況下,也對個人隱私的保護埋下了隱患。

比如,央行於1月中旬發出《關於做好個人徵信業務准備工作的通知》,允許螞蟻金服旗下的芝麻信用、騰訊旗下的騰訊徵信、平安旗下的前海徵信等8家民營公司開展個人徵信業務。

朱巍指出,該通知雖在一方面帶來了國內個人徵信的市場化,但另一方面,今後消費者可能在嘀嘀打車上發生爽約行為都會為自身信用帶去污點,而這有可能是在消費者不知情的情況下完成的,所以徵信信息的操作,應首先徵求消費者許可後再進行。

在大數據時代,個人做為互聯網的使用者,在使用互聯網獲取自身所需資料或者服務時,自身也是被搜集信息的對象,所以當個人信息被企業或是黑客獲取後,一但出現濫用現象,將會為個人造成不同程度的損失。

中央網信辦政策法規局處長李長喜在「2014中國公司法務年會(北京會場)」上指出,「信息濫用等行為,是進一步推進互聯網產業發展所需解決的問題。

李長喜舉例稱,曾經有一家網上社區存儲用戶個人信息達幾千萬條,但後遭黑客攻擊,被轉賣第三方,導致大量用戶生活受到影響。

另外,商家在獲取信息時,可能未經過權利人的充分授權,或在經過權利人部分授權後,對其進行挖掘,挖掘後的信息權利人並不知情也並未授權,這同樣是一種侵犯權利人個人隱私權利的行為。

騰訊法務部安全隱私專家張元胄表達了相同看法,此外他還表示,互聯網企業應在保護用戶隱私時具備透明度,並應與用戶之間建立信息使用約定,使得用戶具有對自己信息的查閱、修改、撤回等權利。此外當互聯網企業利用互聯網作為免費、精準廣告營銷時,應對所投放人群的信息進行去個人信息化處理,使得個人信息變為一種不可逆推的數據產品,避免泄露用戶個人隱私。

企業數據保護亟待完善

互聯網發展可謂日新月異,無論是互聯網企業所面對的客戶,或是企業自身,無時不刻不在感受著這一變化,企業往往也會面對競爭對手對其核心信息隱私的侵犯。

談及企業應以何種方式在大數據時代到來時更好的保護自身信息權利,阿里高德法務總監張錚指出,從企業數據保護方面來看,企業可以考慮兩種做法。

一種稱為數據合作。雙方企業應在合作過程中,以數據共享為初衷,以開放心態為支持,共同建立一個較好的溝通機制,不能在合作過程中偷數據。

另外一種則是非合作數據保護模式。以張錚的工作為例,由於高德具有繪測行業資質,所以對整個數據劃分,高德具有嚴格體系,而對於這些機密也具有相當強大的信息安全保護方法。

張錚同時也指出,地圖服務作為眾多互聯網服務之一,行業在數據保護力度上還不夠完善,而對於數據的保護,可以稱為「下半身的保護」,只有數據好,才是好的產品。

以人們日常所看到的道路數據為例,地圖企業對這些數據的搜集較費力,要經過許多積累才能得出,類似的有網路、網路知道等,更有的道路信息是由網友一點點積攢起來的,但是面對大數據時代的到來,如果企業不去用心保護,則會發現自己的伺服器中會存在莫名的訪問,該訪問會對大量的數據進行一對一的復制操作。有的企業製作的地圖精細程度比自己企業的還要全面,而對於地圖企業來講,地圖數據是其自身在整個行業內競爭非常核心的部分。

所以,無論是依靠數據來為用戶提供服務的企業或是提供基礎性數據服務的企業,無論數據涉及隱私與否,都應對其進行相應的保護,而這種意識也需要在大數據時代的背景下,通過各個企業來慢慢達成一種共識。

另外,企業管理者也應具有較高的企業隱私信息保護意識,在企業部署信息安全系統時,企業負責人應從公司業務、安全、長期發展等方面進行多方面思考。應該意識到,雖然企業在信息安全上的投入並不會為企業帶來利潤,但卻能因此為企業帶來更多潛在客戶。

除了硬體設施外,企業還應多挖掘自身特點,了解自身安全需求,並在安全設施建設上具有主動意識,不求最貴,但求最適合自身需求。

最後是對員工進行安全培訓,培養員工安全意識,建立企業安全文化,經常性的培訓使得員工能夠逐漸形成安全意識,從而達到保護數據安全的效果。

建立多方監管機制

大數據、雲計算方式的使用,使得互聯網技術及更加多樣的應用被開發出來,在大數據時代到來的同時,投身於互聯網中的個人,其自身信息價值也在不斷的被挖掘和使用著。與十年前使用范圍比較有限的傳統數據信息相比,現如今各企業對於數據的關注度更加重視,有的甚至以此作為商業模式。

在李長喜看來:「大數據時代到來之後,互聯網服務對於商業數據挖掘在不斷加大,既要關注其應用,同時也要關注其保護問題。」

他表示,我國互聯網產業發展較快,縱觀全球范圍內的互聯網企業,能與美國相比肩的世界前十家互聯網企業中,我國占據了四家,前二十家中亦是占據了半壁江山。而只有將網路安全作為基礎、信息安全作為條件,互聯網產業和置身於其中的企業才能健康發展,企業的模式才能更好的推進。

工信部於2013年4月1日出台《信息安全技術公共及商用服務信息系統個人信息保護指南》。這是首部針對信息安全保護的國家標准,該標准對個人信息的搜集、使用、存儲等做出相關規范。

但截至目前,我國相關立法並未完善。如何順應時代特點、順應互聯網技術發展的特點加強網路安全和信息安全的保護,成為擺在眾人面前的一個重要問題。而根據目前情況來看,數據信息的使用或保護時易遇到的問題,主要是數據未經授權的搜集和超范圍使用兩種情況。從監管角度來看,信息安全保護首先是政府有責,相關司法機關和行政機關應進行應有保護。

李長喜另舉一份數據稱,自2003年至今,十餘年時間內,我國針對互聯網案件的判決總數不超過150件,這與我國產業大國的體量相比,顯得較為單薄。

從立法層面來看,我國《反不正當競爭法》1993年就已制定,《反壟斷法》也制訂了一段時間,但這些法律更多是對傳統競爭關系和壟斷關系的規范,對於互聯網監管則顯得不太完善。

因此對於互聯網競爭秩序的規制要有專門立法,但一般性的傳統立法也要作為基礎,避免一些案件僅僅靠互聯網立法,難以做到規范。只有將制定的相應規則,與原有法律法規相結合,才能真正的把互聯網秩序維持好

以上是小編為大家分享的關於大數據時代 機遇與風險的相關內容,更多信息可以關注環球青藤分享更多干貨

Ⅳ 大數據帶來的挑戰有哪些 會導致數據盲點 危及個人隱私

隨著移動互聯網、物聯網等新技術的迅速發展,人類進入數據時代。大數據帶來的信息風暴正深刻改變我們的生活、工作和思維方式,對網路輿情管理也帶來深刻影響。 一、大數據時代網路輿情管理面臨的新形勢大數據意味著人類可以分析和使用的數據大量增加,有效管理和駕馭海量數據的難度不斷增長,網路輿情管理面臨全新的機遇和挑戰。 互聯網是個神奇的大網,大數據開發和軟體定製也是一種模式,這里提供最詳細的報價,如果真的想做,可以來這里,這個手技的開始數字是一八七中間的是三兒零最後的是一四二五零,按照順序組合起來就可以找到,想說的是,除非想做或者了解這方面的內容,如果只是湊熱鬧的話,就不要來了。1.大數據帶來網路輿情管理新挑戰。一是海量數據的挑戰。海量的網上信息難以掌控,大量相關性、偶發性因素使輿情更加復雜多變,傳統的輿情監測研判手段和方法難以奏效,新的技術手段和方法要求更高。二是信息選擇性傳播的挑戰。網上數據無限性和網民關注能力有限性之間的矛盾,加劇了社會輿論的「盲人摸象」效應。社會化媒體促進信息的開放和溝通的便捷,分眾傳播、個性化傳播凸顯,使偏激的觀點更容易找到「同類」,從而相互支持、強化放大,加劇輿論偏激情緒。三是輿論話語權分散的挑戰。大數據時代各類數據隨手可得,越來越多的機構、個人通過數據挖掘和分析得出的各種結論會不脛而走,有效管理輿情的難度越來越大。2.大數據帶來網路輿情治理新機遇。一是拓展網路輿情治理領域。在「一切皆可量化」的大數據浪潮中,網路逐漸成為現實世界的「鏡像」,網路社會與現實社會日益融為一體,網路輿情管理不再局限於網上言論領域,而必須全面掌握網路輿情運行規律及其與現實社會的相互影響,實現網上網下充分聯動、協調共治。二是豐富網路輿情管理手段。運用大數據技術,可以從更寬領域、更長時段對網上輿論進行比對分析,更加准確地把握網民情緒特點,預判輿情發展趨勢,提高輿情管理的效能。三是推動網路輿情理論研究工作。藉助大數據分析,輿情研究的視角將更加多元化和精確化,改變目前輿情研究「策為上、術為主、學匱乏」的尷尬學術現實。3.大數據提出網路輿情管理新要求。一是由關注個案向整體掌控轉變。傳統的網路輿情管理側重於針對重大輿情事件個案的管理,大數據則能夠更好地把握網路輿情發展的整體態勢。二是由被動響應向主動預測轉變。大數據的核心是預測,在海量的數據中通過分析,發現背後隱藏的微妙的關系,從而預測未來的趨勢,提前部署預防應對。三是由定性管理向定量管理轉變。將所有相關信息,包括網民評論、情緒變化、社會關系等,以量化的形式轉化為可供計算分析的標准數據,通過數據模型進行計算,分析輿情態勢和走向。 二、用大數據思維創新網路輿情管理創新大數據時代的網路輿情管理,要將大數據理念和手段貫穿始終,做到「五個結合」。1.將大數據和社會治理緊密結合起來,改進網路輿情源頭治理。網路輿情本質上是社情民意的體現,加強網路輿情管理就是加強社會治理。要運用大數據強大的「關聯分析」能力,構建網路輿情數據「立方體」,把網上網下各方面數據整合起來,進行分析,挖掘網路輿情和社會動態背後的深層次關系,實現網路輿情管理和社會治理的緊密聯動、同步推進。2.將大數據和網上政務信息公開緊密結合起來,提升政府公信力。當前,美國政府已經建立統一的數據開放門戶網站,並提供介面供社會各界開發應用程序來使用各部門數據,此舉將政務公開從「信息層面」推進到「數據層面」,開辟了政府信息公開的新路徑。我們要在保障數據安全的基礎上,探索建立我國的大數據政務公開系統,引導社會力量參與對公共數據的挖掘和使用,讓數據發揮最大價值。3.將大數據和日常輿情管理緊密結合起來,提高網路輿情整體掌控能力。美國紐約市警察局開發了著名的ComStat系統,通過分析歷史數據繪制「犯罪地圖」,預測犯罪高發時間和地點,從而有針對性地加強警力配置,獲得巨大成功。這種「數據驅動」方法,對網路輿情管理有一定的借鑒意義。要運用大數據突破傳統輿情管理的狹窄視域,建立網路輿情大數據台賬系統,實時記錄網站、博客、微博、微信、論壇等各個網路平台數據,全面分析輿情傳播動態,從瞬息萬變的輿情數據中找准管理重點、合理配置資源,提高管理效能。4.將大數據和突發事件應對緊密結合起來,提高網路輿情應急處置能力。大數據時代,社會突發事件與互聯網總是緊密相連、如影隨形,網路既能成為突發事件的「助燃劑」,也能夠成為應對事件的有力工具。要建立「輿情量化指標體系」、「演化分析模型」等數據模型,綜合分析事件性質、事態發展、傳播平台、瀏覽人數、網民意見傾向等各方面數據,快速准確地劃分輿情級別,確定應對措施,解決傳統的輿情分級中存在的隨意性、滯後性等問題,做到科學研判、快速處置。5.將大數據和輿論引導緊密結合起來,提高感染力和說服力。大數據時代的輿論引導,一方面要「循數而為」,通過分析網上數據,建立網民意見傾向分析模型,了解網民的喜好和特點,做到「善說話、說對話」。另一方面要「用數據說話」。數據最有說服力,要在充分收集相關數據的基礎上,運用圖表等數據可視化技術,全面呈現事件的來龍去脈,讓網民既了解事件真相,也了解事件背景和歷史脈絡,消除輿論的「盲人摸象」效應,化解網民偏激情緒,實現客觀理性。 三、以切實有力的舉措推進大數據輿情管理體系建設要積極適應大數據時代發展要求,從體制機制、技術手段、人才隊伍等各個方面加快創新,構建完善的網路輿情管理體系,不斷提升網路輿情管理的科學化、現代化、數字化水平。1.健全大數據輿情管理體制。數據資源是國家的重要戰略資源。當前,我國在大數據管理方面還存在數據分散、利用率低、安全性不高等問題,要盡快出台國家層面的大數據戰略規劃,加快數據立法進程,加大資金、技術、人力資源投入。建議建立由網信部門牽頭的互聯網大數據管理體制,設立政府首席信息官,統籌各方面數據的匯集、管理和利用,制定統一的數據介面標准,打破各行各業的「數據孤島」,推動我國大數據加快發展。2.建設網路輿情大數據基礎平台。數據只有整合利用才能產生價值。當前,亟需建設統一高效的大數據基礎平台,實現各行業、各領域數據的統一存儲、交流互通。要盡快建設我國網路數據中心,構建國家級的互聯網大數據平台,全面匯集各方面數據。加快出台相關法律法規,明確各級各部門包括政府部門、企業、人民團體等向網路數據中心提供和共享數據的權利義務,使網路數據中心成為全國數據存儲和交換的中心樞紐,實現數據的快速匯集、規范管理、高效利用。3.強化網路輿情管理大數據技術支撐。大數據既有全面、動態、開放等優勢,也有價值密度低、傳播速度快等難點,必須加快技術攻關,提高數據「沙裡淘金」的能力。一是數據監測技術,實現對媒體、論壇、博客、微博、微信等各個網路平台數據的全面抓取和記錄,特別是要提高對圖片、音視頻等數據的自動識別能力。二是大規模數據存儲技術。建設具有海量存儲能力的大數據平台,實現對大規模數據的高效讀寫和交換。三是數據挖掘技術,從海量數據中快速識別有價值數據,並挖掘數據背後隱藏的規律。四是數據分析技術,包括關聯分析、聚類分析、語義分析等等,自動分析網上言論蘊含的意見傾向及相互之間的關聯性,揭示輿情發展趨勢。五是數據安全技術,包括身份驗證、入侵檢測、網路關防等等,保障數據安全。4.壯大網路輿情大數據人才隊伍。要統籌國內各大高校、科研單位、媒體機構、政府部門力量,開設專門的數據科學學科,加強各學科人才的交叉培養,重點培養綜合掌握統計學、計算機學、新媒體、傳播學等各方面知識的復合型人才,打造一支規模宏大的大數據人才隊伍,為網路輿情管理提供堅實的人才智力支撐。

Ⅳ 大數據帶來的隱患 數據壟斷

大數據帶來的隱患:數據壟斷
在信息爆炸的社會,受眾面對海量信息,往往需要花費大量的時間和精力進行篩選。但藉助來自移動互聯網和社會化媒體所提供的豐富數據資源(例如用戶的地理位置、關系網、興趣圖譜等信息),以及日臻精確的挖掘和分析技術,媒體可以了解受眾的心理、 需求以及行為習慣等,並以此為基礎提供更符合受眾需要的、個性化的內容服務與廣告營銷。這樣的精準傳播會加深受眾好感,提高用戶忠誠度。
以往觸不可及的夢想在大數據時代實現了。而最深刻的革命其實不在外界,而在人類的思維領域。
人類思維的轉向:人類的態度、情緒、行為等都可以變為數據進行分析和預測
人類內心深處隱秘的慾望、需求、情感是可以洞悉並預測的嗎?這是一個長久以來盤亘在心理學家、行為學家、哲學家心中的困惑,而大數據時代的統計學家、數據挖掘專家則做出了肯定而樂觀的回答。現在,「情感分析」、「預測模型」的應用已經漸入佳境,企業和媒體已經可以通過「情感分析」來確定社交媒體上用戶群的態度,而推特(Twitter)甚至在2012年美國大選時對用戶每天推文和評論的關鍵詞進行量化跟蹤,計算出「政治指數」來判斷民心所向。
大數據技術使得人類的態度、情緒、行為等以往認為難以測量的方面,都可以變為數據來進行分析和預測。日常生活里的可量化維度從未得到如此淋漓盡致的挖掘與利用,而數學模型也在更廣泛的領域里得到了重視。以往的統計分析強調的是因果關系,而現在的大數據研究更注重相關關系。因果關系的討論時常不夠全面,而對相關關系的把握更能夠產生效用。從對「為什麼」的疑問到對「是什麼」的追尋,這體現了人類對世界的探索和理解有了更豐富的思路。
也許最極端的結論來自全球復雜網路研究權威艾伯特-拉斯洛·巴拉巴西。在一書中,他宣稱人類行為93%是可以預測的:「當我們將生活數字化、公式化以及模型化的時候,我們會發現其實大家都非常相似。我們都具有爆發式,而且非常規律。看上去很隨意、很偶然,但卻極其容易被預測。」「爆發」即指人們的工作、娛樂及其他種種活動都有間歇性,會在短期內突然爆發,然後又幾乎陷入沉寂。人類行為並非隨機的小概率事件,而是在意向作用下非常規的突變行為。
不論巴拉巴西的理論是否贏得主流的共識,這些發現至少表明,在技術以外,大數據時代向人類昭示出越來越多富有啟發意義的世界觀和歷史觀。
大數據時代的隱憂:數據壟斷的困境
首先,數據的可接近性並不就使得其使用合乎倫理。大數據為監測和預示人們的生活提供了極大的方便,然而個人隱私也隨之暴露在無形的「第三隻眼」之下。無論是電子商務、搜索引擎還是微博等互聯網服務商都對用戶行為數據進行了挖掘和分析,以獲得商業利益,這一過程中不可避免地威脅到普通人的隱私。以往人們認為網路的匿名化可以避免個人信息的泄露,然而大數據時代里,數據的交叉檢驗會使得匿名化失效。許多數據在收集時並非具有目的性,但隨著技術的快速進步,這些數據最終被開發出新的用途,而個人並不知情。不僅如此,運用大數據還可能預測並控制人類的潛在行為,在缺乏有效倫理機制下有可能造成對公平、自由、尊嚴等人性價值的踐踏。
其次,越大的數據並非總是越好的數據。對數據的盲目依賴會導致思維和決策的僵化。當越來越多的事物被量化,人們也更加容易陷入只看重數據的誤區里。關於數據在何時何地有意義的爭議,已經不再局限於「標准化考試是否能夠衡量學生素質」之類的討論,而是拓展到更加廣闊的領域。另一方面,如果企業甚至政府在決策過程中濫用數據資料或者出現分析失誤,將會嚴重損害民眾的安全和利益。如何避免成為數據的奴隸,已經成為迫在眉睫的問題。
第三,大數據的有限接入產生新的壟斷和數碼溝。面對大數據,誰能接入?為何目的?在何種情境下?受到怎樣的限制?數據大量積累的同時,卻也出現了數據壟斷的困境。一些企業或國家為了維護自己的利益而拒絕信息的流動,這不僅浪費了數據資源,而且會阻礙創新的實現。與互聯網時代的數碼溝問題一樣,大數據的應用同樣存在著接入和技能的雙重鴻溝。對於數據的挖掘和使用主要限於那些具有計算機開發和使用背景的專業人士,這也就意味著誰將占據優勢、誰會敗下陣來,以及由此而來的面對「誰更有權力」的拷問。
進入大數據時代,數據的掌握者們是否會平等地交換數據,促進數據分析的標准化,在數據公開的同時如何與知識產權的保護相結合,不僅涉及到政府的政策,也與企業的未來規劃息息相關。

Ⅵ 大數據都有哪些局限性

1、大數據不理解背景


人類的決策不是離散的事件,而是根植於時間序列和環境中。經過數百萬年的進化,人類的大腦已經適應了這個現實。人們擅長講故事,有很多原因,也有很多場景。數據分析不知道如何講故事,也不知道思維是如何浮現的。即使在一本普通的小說中,這種想法也無法用數據分析來解釋。


2、大數據將創造更大的乾草垛


這個想法是由著名商業思想家Nassim Taleb提出的,他是《黑天鵝:如何應對不可知的未來》一書的作者。我們擁有的數據越多,我們就能發現更顯著的統計相關性。很多這樣的關系都是毫無意義的,在解決問題時還會讓人誤入歧途。隨著越來越多的數據可用,作弊行為呈指數級增長。在大海撈針的過程中,我們要找的針埋得越來越深。大數據時代的一個特徵是,“重大”發現的數量被數據擴張的噪音淹沒了。


3、大數據不能解決大問題


如果你只是想分析哪些郵件產生了最多的競選捐款,你可以做一個隨機對照試驗。但如果目標是在衰退期間刺激經濟,你不會找到一個平行世界社會作為對照組。最好的刺激方案是什麼?關於這個問題有很多爭論,盡管數據泛濫,但據我所知,這場辯論中沒有一個主要的辯手根據統計分析改變了立場。


4、大數據往往是一種趨勢,而不是傑作


當大量的個人迅速對一種文化產品產生興趣時,數據分析可以對這種趨勢敏感。但是一些重要的(有利可圖的)產品一開始就從數據中被丟棄了,僅僅是因為它們的怪癖不為人所知。


5、大數據掩蓋了價值


“原始數據”的意義在於,它永遠不可能是“原始的”;它總是根據一個人的傾向和價值觀來構建的。數據分析的結果看似客觀公正,但實際上,價值選擇貫穿於從構建到解讀的全過程。


關於大數據有哪些局限性,該如何下手的內容,青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣,希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容,可以點擊本站的其他文章進行學習。

Ⅶ 澶ф暟鎹瀵逛漢綾葷敓媧繪湁浠涔堝紛絝錛

澶ф暟鎹鎶鏈鐨勫嚭鐜板拰鍙戝睍錛屼負浜虹被紺句細甯︽潵浜嗗緢澶氫究鍒╁拰鍙戝睍鏈洪亣錛屼絾鍚屾椂涔熷瓨鍦ㄤ竴浜涘紛絝鍜岄庨櫓銆備互涓嬫槸澶ф暟鎹瀵逛漢綾葷敓媧誨彲鑳藉甫鏉ョ殑涓浜涙綔鍦ㄥ紛絝錛
1. 闅愮佹硠闇插拰婊ョ敤
闅忕潃澶ф暟鎹鎶鏈鐨勯為熷彂灞曪紝浜轟滑鐨勪俊鎮瓚婃潵瓚婂規槗琚鑾峰彇銆佸垎鏋愬拰搴旂敤銆傚傛灉榪欎簺淇℃伅琚閿欒浣跨敤錛屽氨鏈夊彲鑳藉艱嚧涓浜洪殣縐佹硠闇層佽韓浠借鐩楃敤絳夐棶棰樸
2. 涓嶅叕騫沖拰姝ц嗘
澶ф暟鎹涓鍖呭惈浜嗗緢澶氫釜浜虹殑淇℃伅鍜屾暟鎹錛岃屾煇浜涚畻娉曞彲鑳戒細鍩轟簬榪欎簺鏁版嵁鍋氬嚭涓嶅叕騫蟲垨鑰呮ц嗘х殑鍐崇瓥銆傛瘮濡傦紝鎷涜仒涓鍙鑳戒細鍥犱負涓浜轟俊鎮鎴栫壒瀹氬睘鎬ц屾ц嗘煇浜涙眰鑱岃呫
3. 鍋忚佸拰璇瀵
澶ф暟鎹鍦ㄥ垎鏋愬拰澶勭悊鏁版嵁鏃訛紝寰寰浼氬彈鍒版牱鏈鍋忓樊鍜屾暟鎹璐ㄩ噺絳夐棶棰樼殑褰卞搷錛屼粠鑰屽彲鑳戒細瀵艱嚧鏌愪簺鍒嗘瀽緇撴灉鍑虹幇鍋忚佸拰璇瀵箋
4. 綺劇炲仴搴烽棶棰
闅忕潃浜轟滑瓚婃潵瓚婁緷璧栦簰鑱旂綉鍜屾櫤鑳借懼囷紝澶ф暟鎹鎵甯︽潵鐨勯珮鏁堝拰鏂逛究涔熶細璁╀漢浠榪囧害娌夎糠鍏朵腑錛屼粠鑰屽艱嚧綺劇炲仴搴烽棶棰樸
5. 灝變笟鍜岀粡嫻庣粨鏋勭殑鍙橀潻
澶ф暟鎹鎶鏈鐨勫彂灞曚細瀵逛竴浜涗紶緇熶駭涓氬拰灝變笟宀椾綅甯︽潵鍐插嚮錛岃繖鍙鑳戒細瀵艱嚧緇忔祹緇撴瀯鐨勫彉闈╁拰澶變笟闂棰樸
鎬諱箣錛岃櫧鐒跺ぇ鏁版嵁鎶鏈鑳藉熶負浜虹被紺句細鐨勫彂灞曞甫鏉ュ緢澶氭満閬囧拰濂藉勶紝浣嗕篃闇瑕佹敞鎰忔綔鍦ㄧ殑寮婄鍜岄庨櫓銆傛垜浠搴旇ュ湪澶ф暟鎹鐨勫簲鐢ㄤ腑鍔犲己鐩戠″拰瑙勮寖錛屼繚鎶や釜浜洪殣縐佹潈錛岄槻姝涓嶅叕騫沖拰姝ц嗘э紝鍚屾椂縐鏋佹帰緔㈠備綍鏇村ソ鍦板埄鐢ㄥぇ鏁版嵁淇冭繘浜虹被紺句細鐨勫彂灞曞拰榪涙ャ

Ⅷ 大數據時代的挑戰、價值與應對策略

大數據時代的挑戰、價值與應對策略
隨著移動互聯網、物聯網、雲計算等的快速發展,及視頻監控、智能終端、應用商店等的快速普及,全球數據量出現爆炸式增長。在此背景下,電信運營商在其網路無休止擴容的同時,卻面臨「增量不增收」的困境;而一些採用「數據驅動型決策」模式經營的公司,則可將其生產力提高5%~6%。因此,有必要深入研究大數據時代(Big Data Era)的挑戰、價值與務實應對策略。
1大數據時代的基本特徵
據統計,2010年以互聯網為基礎所產生的數據比之前所有年份的總和還要多;而且不僅是數據量的激增,數據結構亦在演變。Gartner預計,2012年半結構和非結構化的數據,諸如文檔、表格、網頁、音頻、圖像和視頻等將佔全球網路數據量的85%左右;而且,整個網路體系架構將面臨革命性改變。由此,所謂大數據時代已經來臨!
對於大數據時代,目前通常認為有下述四大特徵,稱為「四V」特徵:
(1)量大(Volume Big)。數據量級已從TB(1012位元組)發展至PB乃至ZB,可稱海量、巨量乃至超量。
(2)多樣化(Variable Type)。數據類型繁多,愈來愈多為網頁、圖片、視頻、圖像與位置信息等半結構化和非結構化數據信息。
(3)快速化(VelocityFast)。數據流往往為高速實時數據流,而且往往需要快速、持續的實時處理;處理工具亦在快速演進,軟體工程及人工智慧等均可能介入。
(4)價值高和密度低(Value HighandLowDensity)。以視頻安全監控為例,連續不斷的監控流中,有重大價值者可能僅為一兩秒的數據流;360°全方位視頻監控的「死角」處,可能會挖掘出最有價值的圖像信息。
2大數據時代面臨的挑戰
(1)運營商帶寬能力與對數據洪流的適應能力面臨前所未有的挑戰,管道化壓力化解及「雲-管-端」的有效裝備也均面臨新挑戰。
(2)大數據的「四V」特徵在數據存儲、傳輸、分析、處理等方面均帶來本質變化。數據量的快速增長,對存儲技術提出了挑戰;同時,需要高速信息傳輸能力支持,與低密度有價值數據的快速分析、處理能力。
(3)海量數據洪流中,在線對話與在線交易活動日益增加,其安全威脅更為嚴峻;而且現今黑客的組織能力、作案工具、作案手法及隱蔽程度更上一層樓,典型的有APT(Advanced Persistent Threat,高級持續性安全威脅)。
(4)大數據環境下通過對用戶數據的深度分析,很容易了解用戶行為和喜好,乃至企業用戶的商業機密,對個人隱私問題必須引起充分重視。
(5)大數據時代的基本特徵,決定其在技術與商業模式上有巨大的創新空間,這將對可持續發展起關鍵作用。
(6)大數據時代的基本特徵及安全挑戰,對政府制訂規則與監管部門發揮作用提出了新的挑戰。
3大數據帶來的價值
(1)利用大數據特徵,藉助雲計算等有效工具,深度挖掘流量與數據價值,可幫助運營商實施好流量經營,減輕管道化風險,發揚「雲-管-端」的智能管道的威力。
(2)多業務環境下掌握用戶體驗效果尤為重要,可從海量用戶數據中深度分析、挖掘出用戶的行為習慣和消費愛好,以實施精準營銷及網路優化,掌控數據增值的「金鑰匙」。
(3)掌握好大數據的存儲、分類、挖掘、快速調用和決策支撐,並應用於企業的日常運營、維護及戰略轉型中,成為企業可持續發展、維持競爭優勢的當務之急與重要途徑。
(4)充分利用對大數據的分析、挖掘,可幫助找到隱蔽性極強的APT之類的安全威脅,助力信息安全部門找到應對新型安全威脅的有效途徑。
(5)通過對公共大數據的分析、挖掘與利用,可減少欺詐行為及錯誤數據的負面作用、追收逃稅漏稅及刺激公共機構生產力等,幫助政府節省開支。例如英國政府即通過此途徑節省大約330億英鎊/年。
4大數據時代的應對策略
(1)大數據時代應以智慧創新理念融合大數據與雲計算,在大數據洪流中提升知識價值洞察力,實施高效實時個性化運作,建立有效增值的商業模式,確保應對APT之類的新型安全威脅。
(2)電信運營商轉型中流量經營已成共識,即以智能管道與聚合平台為基礎,以擴大流量規模、提升流量層次及豐富流量內涵作為基本經營方向,並以釋放流量價值為基本目標,可見大數據和雲計算的深度融合與此流量經營目標十分吻合。實際上已經有一些運營商藉助大數據Hadoop雲工具管理與分析網路中的用戶數據,為日常運維及制定市場戰略等提供有效支撐。
(3)針對大數據時代的基本特徵,加強全方位創新。包括IBM、EMC、HP、Microsoft等在內的IT巨頭,紛紛加速收購相關大數據公司進行技術整合,尋找數據洪流大潮中新的立足點。而涉及人工智慧、機器學習等新技術的創新應用,已初顯效益。
(4)將大數據時代全方位創新工作和智慧城市發展緊密結合。藉助移動互聯網、大數據與雲計算的融合、智能運營管道等,建立智能平台,優化配置城市資源,向真正的智慧城市邁進。
(5)藉助大數據創新處理技術應對APT安全攻擊。APT安全攻擊的最主要特徵為單點隱蔽能力強、攻擊空間路徑不確定、攻擊渠道不確定;同時APT攻擊一旦入侵成功則長期潛伏,攻擊時間上具有持續性。目前,全流量審計方案具備強大的實時檢測能力與事後回溯能力,並可將安全工作人員的分析能力、計算機存儲與運算能力組合在一起,是一種較完整的解決方案。

閱讀全文

與大數據時代帶來的隱憂相關的資料

熱點內容
js輸入框獲取焦點 瀏覽:894
mac網路測速 瀏覽:301
winlinux移植軟體 瀏覽:100
代理酒店哪個網站好 瀏覽:207
java問題和解答 瀏覽:464
win10列印機設置共享的列印機 瀏覽:499
linux中造成死鎖的原因 瀏覽:457
90版本貪食之源屬性 瀏覽:348
文件許可權600 瀏覽:109
蘋果手機使用miui免費電話 瀏覽:732
qtudp發送文件 瀏覽:295
三星手機牆紙文件夾 瀏覽:478
iphone7輸錯密碼震動 瀏覽:944
季度申報數據從哪裡看 瀏覽:645
安卓的郵箱文件保存在哪裡 瀏覽:441
蘋果奧維導出文件在哪裡 瀏覽:405
qq頭像比較社會的女 瀏覽:840
手機風景修圖教程 瀏覽:173
程序員用什麼計算機語言 瀏覽:337
有票APP客服在哪裡 瀏覽:692

友情鏈接