導航:首頁 > 數據分析 > 大數據是哪個年代出現的

大數據是哪個年代出現的

發布時間:2025-02-08 19:07:06

大數據是什麼時候提出來的

大數據的概念最早可以追溯到上亂禪岩個世紀 90 年代,當時美國 IT 公司 Teradata 提出了「大型資料庫管理系統」(DBMS)的概念,這就是「大數據」的前身。然而,大數據這一術語的真正流行是在 2000 年之後的。隨著互聯網、移動設備和感測器技術襲尺的普及,越來越多的數據被持續地產生、收集、存儲和分析,這使得大數嘩御據概念得到了廣泛關注和應用。

Ⅱ 大數據時代發展歷程是什麼

可按照時間點劃分大數據的發展歷程。

Ⅲ 大數據時代網路輿情管理變革探討

大數據時代網路輿情管理變革探討

大數據時代的到來對人類的生活、工作與思維產生變革性影響,深刻改變著商業王國及公共管理等各個領域的面貌,「大數據」日漸成為各行業創新的助推器。當前中國網路輿情環境復雜,網路輿情危機時有發生,社會熱點輿情事件和涉官涉政輿情事件不斷涌現,造成社會民主生活和政治穩定間的不平衡等諸多影響。大數據背景下的網路輿情正在發生巨大的變化,網路輿情管理變得日益復雜和重要,如何抓住大數據時代為網路輿情管理變革帶來的機遇,以「大數據觀」變革傳統網路輿情管理思維,准確把握網路輿情的內在特徵及其在演變過程中的潛在規律,實現網路輿情管理在思維、模式以及技術上的創新,對於新形勢下做好網路輿情引導工作,加強和改進網路內容建設,具有重要的理論意義和實踐價值。

一、大數據時代必然要求網路輿情管理變革

「大數據」概念最早在20世紀80年代提出,2011年麥肯錫咨詢公司發布其研究成果《大數據:下一個創新、競爭和生產率的前沿》,使這個概念得以大范圍推廣。2012年3月29日,奧巴馬宣布將投入2億多美元啟動「大數據發展和研究計劃(Big Data Research and Development Initiative)」,將「大數據戰略」上升為國家戰略。近兩年,大數據備受學術界、產業界和政府部門的關注,成為國內外強有力的前沿詞彙。大數據又稱巨量數據、海量數據、大資料,指的是所涉及的數據量規模巨大到無法通過目前主流軟體工具在合理時間內進行抓取、管理和處理的數據集合,是必須通過深度挖掘、計算、分析才能創造價值的海量信息。大數據在體量、復雜性、產生速度及價值密度四個方面都極大地超越了傳統的數據形態,具有4V特徵:大量(Volume)、多樣(Variety)、高速(Velocity)、價值(Value)。數量龐大的網民通過論壇、微博、微信等多種途徑方便快捷地發表言論觀點,網路輿情的規模和復雜性急速上升,體量巨大而價值密度低,其內在特徵的變化必然要求實現網路輿情管理的變革以適應大數據時代的發展,這些要求主要體現在四個「轉向」上。

(一)從監測轉向預測。大數據的核心和目標就是預測。復雜網路的研究專家巴拉巴西認為,「93%的人類行為是可以預測的,當我們將生活數字化、公式化以及模型化的時候,我們會發現其實大家都非常相似。生活如此抵觸隨機運動,渴望朝更安全、更規則的方向發展,人類行為看上去很隨意、很偶然,卻極其容易被預測」[1]。例如,亞馬遜可以推薦我們想要的圖書,淘寶知道我們的喜好,而人人網可以猜出我們認識誰。傳統網路輿情管理把監測已經產生的輿情信息作為起點,這種明顯的滯後性使其在網路輿情危機的應對中處於消極被動的位置。而目前留給突發事件的處理時間越來越少,從傳統的「黃金24小時」變為「黃金4小時」,如此短的時間使輿情分析和決策尚未來得及參與進來,整個事件就已經造成了爆炸性的效果。在大數據時代,通過挖掘數據相關性,把數學演算法運用到海量的數據上進行分析,在敏感消息進行網路傳播的初期就提前開始監測,然後建立模型,模擬模擬網路輿情的演變過程,使網路輿情突發事件發生的可能性和傾向性變得可以預測。

(二)從節點轉向網路。由監測輿情轉向預測輿情的目標實現,最關鍵的大數據技術就是挖掘數據的相關性。在小數據時代,由於受到資料庫和計算分析能力的限制,無論是對於因果關系還是相關關系的追尋,都耗資耗時,並且易受傳統的思維模式和特定領域隱含的固有偏見的影響,無法保證輿情分析結果的准確性。因此傳統的網路輿情管理只注重輿情內容的監測,通過分析單個數據節點,如網民「說什麼」來抓住比較淺層的社會語義表達。大數據則在保留了原始數據的同時,記錄了網民「為什麼這么說」背後的社會心理和社會關系網。按照大數據思維,每一個數據都是一個節點,可無限次地與其他關聯數據形成輿情鏈上的乘法效應——類似微博裂變傳播路徑,數據裂變式的關聯狀態蘊含著無限可能性[2]。通過對海量信息的解構與重構,充分整合政府和企業的數據資產,利用一系列飛速發展的新技術和新工具,描繪、測量、計算各節點之間的關系,深度挖掘數據的相關性,以此排除偏見和視覺盲點,掌握易被忽略的社會動態,預測輿情的發展趨勢。因此大數據時代必然要求網路輿情管理變革其監測系統,由節點轉向網路,把握相關性,進而分析輿情背後的社會互動,乃至網路族群之間的界限和相互勾連。

(三)從定性轉向定量。輿情分析師或解讀者從自身經驗和視角出發,在傳統網路輿情管理的過程中進行定性分析時,必然使其分析結果帶有個人價值與理念的主觀印記,甚至不同的輿情機構對同一輿情事件會得出相悖的結論。在大數據時代,所有元數據都可通過量化關聯轉化為有價值的信息,並實現多次利用,每一次利用都是一種創新,大數據成為網路輿情定量管理的力量源泉。盡管數據的相關性決定了某些數據價值的潛藏性,但新技術、新軟體的出現使得通過數學分析實現數據的價值轉化變為可能。而多維解讀輿情和新的深刻洞見的揭示,使輿情分析結果的全面性和客觀性大大超越傳統的網路輿情管理。但數據的量化並不等同於簡單的「數字化」,而是數據的可計算化,舍恩伯格將其稱之為「數據化」,是指一種把現象轉變為可製表分析的量化形式的過程[3]。「數據化」使態度和情緒轉變為一種可以分析的形式,網路輿情的相關信息得以進行深入分析,一些社交媒體如Facebook、Twitter、QQ、微博、微信等坐擁大型數據的寶藏,一旦實現對其自身資料庫的深度利用,就能輕易獲得社會各個領域和所有用戶的幾乎全部動態信息。

(四)從樣本轉向全體。在傳統的網路輿情工作模式中,所採集的輿情關聯數據僅為樣本信息,構建的資料庫結構單一、數據量有限。其數據源一般是基於抽樣或者針對重點網路站點進行的數據抓取,僅能對小規模、有結構或類結構的數據進行分析,標准不一,難以在不同領域中通用。同時,樣本分析並不能保證結果的准確,即使分析方法和操作沒有問題,但采樣過程的任何偏誤都將使輿情分析結果與事實相去甚遠。大數據體量巨大,從TB級別躍升至PB乃至ZB級別,完整記錄了社情民意,成為人類生存痕跡和心理變化的記錄儀。采樣的目的是以盡可能少的數據獲得盡可能多的信息,但大數據是建立在掌握所有數據,至少是海量數據的基礎上的,在數據處理技術日新月異的今天,變革傳統輿情管理思維與方法,改變采樣的慣性行動成為必要。通過運用大數據技術,建立網路輿情自動分析系統,全天候自動搜索並採集與目標輿情看似毫不相關實則具有內在關聯的信息,在抓取和收集頁面之後,對信息自動分類、自動獲取關鍵詞、自動內容分析和自動報警等。樣本擴大至幾乎全體,輿情分析的結果更加客觀可靠。

二、大數據時代網路輿情管理變革的效應前瞻

抓住大數據時代變革網路輿情管理的新機遇,迎接大數據時代網路輿情管理的新挑戰,順應大數據時代網路輿情管理的新要求,變革與創新網路輿情管理將會產生良好的管理效應,實現新時期網路輿情管理的升級轉型。

(一)實現「防火」式管理。傳統的網路輿情管理因為無法把握數據相關性,不能准確預測輿情未來的發展趨勢,因此採用的是「滅火」式管理模式。政府通常在輿情產生或者已形成輿情危機的情況下才開始採取措施,如發布信息、引導輿情、滿足訴求等,以此達到「滅火」效果。在此種模式下,政府經常被動陷入網路輿情漩渦,由此形成視網路輿情為「敵情」的偏見。為了擺脫這一困境,政府總是試圖「控制」、「引導」和「應對」網路輿情,以一種上位者的姿態去支配、主宰網民及其輿情表達的方式。然而,若網民在網路輿情中的主體地位得不到保證,網路輿情就會失去其「減壓閥」的功能,網路輿情問題將會是治標不治本。大數據時代,政府轉變網路輿情管理思路,變革網路輿情管理模式,應用大數據技術對網路輿情進行關聯分析、級別劃分、聚類分析和傾向性分析,將實現「滅火」式管理到「防火」式管理的轉變。通過尋找「導火索」與「減壓閥」之間的平衡點,在發揮網路「民間輿論場」作用的同時,將網路輿情危機扼殺在搖籃里。例如美國中央情報局通過抓取海量數據來追蹤恐怖分子和監控社會情緒,在「阿拉伯之春」中,通過大數據分析多少人和哪些人的立場從溫和變為激進,並「算出」誰有可能會採取有害行為。

(二)打撈「沉沒的聲音」。大數據源於互聯網的分享、開放,但「數字鴻溝」的存在卻使「信息窮人」與網路隔絕。盡管互聯網的發展使這一部分人的比例越來越低,但發展不均衡性的擴大意味著現在和將來仍然有一個不容忽視的群體將無法提供任何數據。即使是那些能夠充分利用網路的人群,也有可能因為在某種情境下成為輿論中的弱勢群體,或者因其在輿情主流中的異質思維而選擇不在網路上發聲。當然,這種選擇既可能是主動也可能是被動的。正如美國哲學家埃里克·霍弗所言,「一個國家最不活躍的人群,為佔大多數的中間層次。他們是在城市工作和在鄉間務農的正派老百姓,然而,他們的命運卻受分據社會光譜兩頭的少數人——最優秀的人和最低劣的人所左右」[4]。顯而易見的是,單憑技術體系構築的大數據平台無法真正獲取「全部數據」,通過改革網路輿情管理去打撈那些可能代表某一個群體或一定數量級的「沉沒的聲音」十分必要。因此,全面思考和理清大數據時代網路輿情管理面臨的機遇和挑戰,通過「大輿情」觀念的構建,變革網路輿情管理的工作理念和模式,將有利於打撈「沉沒的聲音」。例如,將輿情服務與社會調查相結合,重視實地調研與第一手材料的採集,而不是把網路輿情管理捆綁在技術上,將避免得到不全面的輿情或做出誤導性決策。

(三)識破「偽輿情」。當前備受關注的網路輿情,越來越成為依存於影星式的學者、影星式的記者、影星式的商人和影星式的政客為中心的「偽輿情」[5]。重大敏感事件發生後,部分網管和有影響力的輿情機構快速封堵其主觀上認為的「有害信息」,選擇性地編撰輿情報告,以片面、虛假的「偽輿情」影響決策層對形勢的研判,使其做出符合自身利益訴求的決策。有些利益集團則精心扶植和培育自己的網路發言人,引導網民思考的內容和方向。結果,這些輿論領袖對關鍵事件和問題的看法在網路上大行其道,並淹沒其他異質言論,使群眾對真相的認知產生巨大偏差。當輿情被各方利益集團的政治力量和經濟力量操縱時,它便喪失了獨立性,一旦「偽輿情」被識破,輿情機構就可能失去其公信力。基於全網的完整、准確和極速的信息抓取有利於為輿情分析報告提供一手的材料、純粹的事實,從而獲得真實全面的輿情,使網民在不知道「為什麼」的情況下,依然能獲得對「是什麼」的比較公正客觀的認知,並以此助力網路輿情的引導。同時,通過變革網路輿情管理的體制機制,保持輿情管理的獨立性將有力識破「偽輿情」,剔除「雜音」與「噪音」,使大數據時代的網路輿情真正成為現實世界的「鏡像」。

(四)克服「盲人摸象」和「信息孤島」。海量信息無限增長與網民關注、分析能力有限之間的矛盾,造成了「數據爆炸」與「知識貧乏」的怪象,加劇了社會輿論的「盲人摸象」效應。大數據時代下,網路媒體促進了信息的開放和溝通的便捷,人們對公共事件的參與達到了一個前所未有的高度,但是分眾傳播、個性化傳播的凸顯以及信息的碎片化,使得全面、深刻地關注和分析事件變得越來越困難。網民非理性、易激動的特點導致網路輿情的偏激和情緒化,網路的「群體極化」被放大。大數據時代的輿情監測是建立在傳統人工和軟體無法進行的全網輿情信息採集的基礎上,樣本擴大到全體。通過運用大數據技術,建立網路輿情自動分析系統,避免因數據源不全面而造成的重要信息監測缺失,將有利於消弭「盲人摸象」現象。與此同時,由於信息化應用水平參差不齊,政府和企業不同的部門之間都存在「信息孤島」問題:有多少個部門就有多少個信息系統,每個系統都有自己的資料庫、應用軟體和用戶界面,完全是獨立的體系,阻礙了數據的互通互聯[6]。變革大數據時代網路輿情管理的工作模式,統一輿情行業的技術標准,共享數據,建立網路輿情服務聯盟,統籌政府、企業、媒體及社會力量,實現網路輿情的多元共治將有利於解決「信息孤島」問題。

三、大數據時代網路輿情管理的變革路徑

當大數據給各行各業帶來變革性影響時,全世界都沒做好迎接這場產業革命的准備。但與英美等發達國家相比,中國更像是處在大數據時代的前夜。而中國的人口和經濟規模決定了中國大數據的規模為全球最大,為中國抓住時代的脈搏進行改革提供了難得的機遇。在這種大背景下,大數據對傳統輿情管理也產生了深刻的影響,要使網路輿情管理變革產生應有的預期效應,適應時代的發展要求,須從思維觀念、方法手段、體制機制、技術保障、人才建設等路徑著手。

(一)樹立大輿情觀念。大數據時代網路輿情管理的變革,首要在於樹立大輿情觀念。這里的大輿情,包括兩層含義。第一,強調「大數據觀」,即充分實現網路數據平台的開放共享。按照「一切皆可量化」的大數據邏輯,一個新增的相關性數據的產生,通常會帶來一個新的分析結果。因此只有形成「大數據觀」,實現數據的動態分享,才能有效防止信息「碎片化」,最大限度地消除「盲人摸象」和「信息孤島」現象。第二,強調網上和網下數據的整合。網路輿情與社會調查結合不足,可能降低輿情的真實性,誤導決策。例如,對於假期調整方案的選擇,各輿情機構組織的網路投票的結果各不相同,其做出的輿情分析報告也和真實民意相左。因此只有真正掌握「大輿情」,打撈「沉沒的聲音」,才能正確決策,打造一個更安全、更高效的社會。樹立大輿情觀念,首先,必須實現數據分析的動態化,打破數據壟斷,統一標准,共享數據,預防孤立的輿情機構閉門造車,制定片面或錯誤的輿情分析報告。其次,應把網上網下各方面數據整合起來,挖掘網路輿情與社會動態背後的深層次關系,實現網路輿情管理和社會治理的緊密聯動、同步推進[7]。最後,完善和創新包括輿情抓取、預警、研判到決策、評估等在內的網路輿情管理的各個環節,使輿情管理功能不僅僅限於危機處理,更能發揮輔助決策的作用。

(二)變革網路輿情的引導戰略。做好輿論引導工作,應把握好時、度、效。但是目前許多地方和部門對如何進行網路輿情的引導仍然缺乏正確認識,於「時」不能把握好「黃金4小時」,於「度」不能掌握火候,拿捏分寸,於「效」不能保證網路輿情引導的實效質量。大數據由於自身具有的特點,使其利於變革網路輿情的引導戰略,變「封改刪」、「鴕鳥戰術」為「網上引導,網下落地」,使「偽輿情」失去生存的土壤。因此,我們要充分發揮大數據的優勢來提高輿情引導工作的能力。其一,利用大數據提升網路輿情引導的預見性和目的性。通過數據抓取和相關性分析,構建網民意見傾向分析模型,了解網民的偏好和特點,建設和完善政府網站、官方微博,扶植和藉助意見領袖,做到「善說話、說對話、接地氣、辦實事」。其二,通過數據的價值轉化,實現網路輿情的價值引導。在充分收集相關數據的基礎上,運用圖表等數據可視化技術揭示事件的前因後果,讓數據「發聲」,使網民既「知其然」也「知其所以然」,從而全方位360度無死角了解事件的來龍去脈,消除「盲人摸象」現象。其三,提升輿情引導的公信力。一方面加強新老媒體間的互動,發揮各自的優勢與公眾溝通,破解謠言和流言,達到時效性和權威性的雙重保障;另一方面要避免輿情分析師在處理數據的過程中受經驗偏好的影響,並防止大數據淪為某些機構和個人更便捷地操縱輿論的手段。

(三)健全大數據輿情管理體制機制。當前,網路輿情管理的體制機制尚不完善,很多地區尚不具備系統規范的輿情應對與處理的管理體系。輿情分析和預測手段落後,危機應對系統缺失,輿情管理組織機構不健全、不穩定,以及多頭管理等問題非常普遍。健全大數據輿情管理的體制機制,對於從源頭上解決網路輿情管理過程中出現的問題和困難,實現標本兼治,具有決定性作用。因此,為使網路輿情管理取得實效,提升網路輿情工作的規范化和科學化水平,我國應加快建立健全大數據輿情管理的體制機制。首先,建立網路輿情多元管理的互動機制,由國家出台大數據發展戰略規劃,產學研相結合,統籌政府、企業、社會和公民的力量,形成合力,實現共治。其次,變革網路輿情管理的機構設置,改變以往通過臨時組建領導小組或臨時辦公室等機構,或者以宣傳部門為「消防隊」等方式被動應對輿情危機的模式,通過常態化機構的設置和專業人員的配備,使網路輿情管理專門化、精細化。再次,建立權責明確的責任機制,通過加快數據立法進程明確各級各部門包括政府部門、企業媒體、人民團體等的權利義務;通過建立由網信部門牽頭的大數據輿情管理體制,改變多頭管理的局面,並設立政府首席信息官責任制度等。最後,健全大數據網路輿情管理的資源保障機制,大數據時代變革網路輿情管理面臨初期成本高、短期效益不明顯等問題,需要加大資金、技術、物資、人力等資源的投入。

(四)創新大數據網路輿情管理的方法與技術。大數據時代的到來,要求網路輿情管理必須採用更為先進的技術,這主要表現在對各種相關軟體的大量應用以及對大數據技術支撐平台的依託。目前中國網路輿情監測採集軟體中較具代表性的有TRS互聯網輿情信息監控系統、北大方正智思輿情監控系統、軍犬網路輿情監控系統、樂思網路輿情監測系統等。此外,還應完善和創新大數據技術支撐平台的五大基石——數據監測技術、數據挖掘技術、數據存儲技術、數據分析技術、數據安全技術,使大數據為網路輿情管理服務的同時又不超出我們的控制。同時,我們也不能陷入「技術是萬能的」誤區而盲目迷信和依賴技術,更不能因相信大數據強大的預測功能而導致「數據獨裁」,變成數據的奴隸。因此,網路輿情管理還需要依靠其他方法和手段相輔相成,共同作用。法律因其具備最大的強制性和權威性,成為最有效的管理控制的手段。法律與道德相互聯系,在極具復雜性和特殊性的虛擬空間里,教育和自律被擺在重要的位置上。例如,歐美發達國家如美國、英國、加拿大等都通過倡導用戶自律和自我管理來提高網民的媒介素養,加強自我把關能力。此外,還可以效仿韓國、新加坡等運用行政手段,要求網路用戶在獲得國家有關部門頒發的許可證的情況下,才能訪問政府嚴格控制的信息等。

(五)培育大數據時代的網路輿情管理人才。大數據時代的網路輿情將會形成多向度的研究,例如對社會話語表達、社會心理描繪、社會關系呈現、社會訴求預測等的分析研究。網路輿情將真正成為一門與多學科交叉的社會顯學,對人才的全面性要求很高。中國教育的學科劃分和培養體系,客觀導致培養出來的人才很難跨界。換句話說,真正進入這個行業的門檻是很高的。正因如此,各國越來越重視對數據科學家的培養,如美國在大學專門開設研究大數據技術的課程,通過嚴格的業務培訓和職業資格認證,培養下一代的數據科學家。2013年9月,我國人社部聯合人民網啟動「網路輿情分析師職業培訓計劃」,「網路輿情分析師」成為一項被正式認可的職業。但是我國現有輿情工作人員的水平仍然嚴重滯後,很多輿情機構尤其是地方政府並沒有專業的數據處理、分析團隊和專門的網路輿情管理部門。為突破大數據時代變革網路輿情管理的人才瓶頸,從短期看,可以通過招考、錄用等方式引進數據挖掘、分析人才,通過委託培養、網路培訓等方式強化已有專業人才力量,通過購買服務的方式短期租賃大數據輿情管理的高素質人才。從長遠看,則要系統梳理網路輿情管理所需人才目錄,培養和壯大既精通數據挖掘、數學建模,又擁有較高學習能力、分析能力和知識水平,橫跨統計學、社會學、計算機學、傳播學、管理學等學科的復合型人才,打造一支大數據網路輿情管理的專業人才隊伍。

以上是小編為大家分享的關於大數據時代網路輿情管理變革探討的相關內容,更多信息可以關注環球青藤分享更多干貨

Ⅳ 大數據的概念是由( )首先提出的

大數據的概念最早可以追溯到20世紀60年代,由美國技術先驅道格拉斯·克羅克福特(Douglas Carl Engelbart)首次提出。隨著時間的推移,特別是互聯網、移動通信和物聯網技術的迅猛發展,數據量激增,大數據的概念得到了進一步的發展和普及。在21世紀初,大數據已經成為一個廣泛討論的術語,並且在信息技術、商業和科學研究等多個領域中扮演著至關重要的角色。大數據的處理和分析涉及數據的收集、存儲、管理和分析等多個環節,其特點是數據量龐大、類型繁多、處理速度快以及價值密度高。利用大數據技術,我們能夠更准確地洞察市場動態、社會變遷和自然現象,從而為決策制定和創新發展提供支持。

Ⅳ 大數據一詞最早出現於20世紀90年代

「大數據」一詞,最早出現於20世紀90年代,當時的數據倉庫之父比爾·恩門經常提及BigData。

Ⅵ 什麼叫大數據

什麼叫大數據?
大數據-網路

大數據(big data,mega data),或稱巨量資料,指的是需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的信息資產。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》 中大數據指不用隨機分析法(抽樣調查)這樣的捷徑,而採用所有數據進行分析處理。大數據的4V特點:Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)。
對於「大數據」(Big data)研究機構Gartner給出了這樣的定義。「大數據」是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
大數據技術的戰略意義不在於掌握龐大的數據信息,而在於對這些含有意義的數據進行專業化處理。換言之,如果把大數據比作一種產業,那麼這種產業實現盈利的關鍵,在於提高對數據的「加工能力」,通過「加工」實現數據的「增值」。
從技術上看,大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理,必須採用分布式架構。它的特色在於對海量數據進行分布式數據挖掘,但它必須依託雲計算的分布式處理、分布式資料庫和雲存儲、虛擬化技術。
隨著雲時代的來臨,大數據(Big data)也吸引了越來越多的關注。《著雲台》的分析師團隊認為,大數據(Big data)通常用來形容一個公司創造的大量非結構化數據和半結構化數據,這些數據在下載到關系型資料庫用於分析時會花費過多時間和金錢。大數據分析常和雲計算聯繫到一起,因為實時的大型數據集分析需要像MapRece一樣的框架來向數十、數百或甚至數千的電腦分配工作。
大數據需要特殊的技術,以有效地處理大量的容忍經過時間內的數據。適用於大數據的技術,包括大規模並行處理(MPP)資料庫、數據挖掘電網、分布式文件系統、分布式資料庫、雲計算平台、互聯網和可擴展的存儲系統。
大數據-維基網路
大數據(英語:Big data或Megadata),或稱巨量數據、海量數據、大資料,指的是所涉及的數據量規模巨大到無法通過人工,在合理時間內達到截取、管理、處理、並整理成為人類所能解讀的信息[3][4]。在總數據量相同的情況下,與個別分析獨立的小型數據集(data set)相比,將各個小型數據集合並後進行分析可得出許多額外的信息和數據關系性,可用來察覺商業趨勢、判定研究質量、避免疾病擴散、打擊犯罪或測定實時交通路況等;這樣的用途正是大型數據集盛行的原因。
截至2012年,技術上可在合理時間內分析處理的數據集大小單位為艾位元組(exabytes)。在許多領域,由於數據集過度龐大,科學家經常在分析處理上遭遇限制和阻礙;這些領域包括氣象學、基因組學[9]、神經網路體學、復雜的物理模擬,以及生物和環境研究。這樣的限制也對網路搜索、金融與經濟信息學造成影響。數據集大小增長的部分原因來自於信息持續從各種來源被廣泛收集,這些來源包括搭載感測設備的移動設備、高空感測科技(遙感)、軟體記錄、相機、麥克風、無線射頻辨識(RFID)和無線感測網路。自1980年代起,現代科技可存儲數據的容量每40個月即增加一倍;截至2012年,全世界每天產生2.5艾位元組(2.5×1018)的數據。
大數據幾乎無法使用大多數的資料庫管理系統處理,而必須使用「在數十、數百甚至數千台伺服器上同時平行運行的軟體」。大數據的定義取決於持有數據組的機構之能力,以及其平常用來處理分析數據的軟體之能力。「對某些組織來說,第一次面對數百GB的數據集可能讓他們需要重新思考數據管理的選項。對於其他組織來說,數據集可能需要達到數十或數百兆位元組才會對他們造成困擾。」
隨著大數據被越來越多的提及,有些人驚呼大數據時代已經到來了,2012年《紐約時報》的一篇專欄中寫到,「大數據」時代已經降臨,在商業、經濟及其他領域中,決策將日益基於數據和分析而作出,而並非基於經驗和直覺。但是並不是所有人都對big data感興趣,有些人甚至認為這是商學院或咨詢公司用來嘩眾取寵的buzzword,看起來很新穎,但只是把傳統重新包裝,之前在學術研究或者政策決策中也有海量數據的支撐,大數據並不是一件新興事物。
大數據時代的來臨帶來無數的機遇,但是與此同時個人或機構的隱私權也極有可能受到沖擊,大數據包含了各種個人信息數據,現有的隱私保護法律或政策無力解決這些新出現的問題。有人提出,大數據時代,個人是否擁有「被遺忘權」,被遺忘權即是否有權利要求數據商不保留自己的某些信息,大數據時代信息為某些互聯網巨頭所控制,但是數據商收集任何數據未必都獲得用戶的許可,其對數據的控制權不具有合法性。2014年5月13日歐盟法院就「被遺忘權」(right to be forgotten)一案作出裁定,判決Google應根據用戶請求刪除不完整的、無關緊要的、不相關的數據以保證數據不出現在搜索結果中。這說明在大數據時代,加強對用戶個人權利的尊重才是時勢所趨的潮流。

Ⅶ 什麼叫大數據.有什麼用.

大數據是指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集版合,是需要新處理模式權才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產,簡單來說大數據就是海量的數據,就是數據量大、來源廣、種類繁多(日誌、視頻、音頻),大到PB級別,現階段的框架就是為了解決PB級別的數據。

大數據的7大特徵:海量性,多樣性,高速性,可變性,真實性,復雜性,價值性

隨著大數據產業的發展,它逐漸從一個高端的、理論性的概念演變為具體的、實用的理念。

很多情況下大數據來源於生活。
比如你點外賣,准備什麼時候買,你的位置在哪,商家位置在哪,想吃什麼……這都是數據,人一多各種各樣的信息就越多,還不斷增長,把這些信息集中,就是大數據。

大數據的價值並不是在這些數據上,而是在於隱藏在數據背後的——用戶的喜好、習慣還有信息。

閱讀全文

與大數據是哪個年代出現的相關的資料

熱點內容
自律app推薦什麼cat 瀏覽:582
人體各種指標從哪裡來的數據 瀏覽:43
大學生資料庫培訓 瀏覽:110
linux中sh命令詳解 瀏覽:108
幻想三國2008版本 瀏覽:135
華為手機如何攔截不良網站 瀏覽:407
聯通4g用什麼系統版本 瀏覽:807
iphone5s尺寸圖紙下載 瀏覽:780
筆記本ghost以後不能安裝系統文件丟失 瀏覽:659
aspnet網站源碼vb 瀏覽:427
編程軟體怎麼下載到電腦里 瀏覽:353
win10網頁亂碼不是中文 瀏覽:192
iphone信息發送欄是灰色的 瀏覽:576
用什麼軟體打開sid文件 瀏覽:511
怎麼在網站中下視頻 瀏覽:485
文件夾套打 瀏覽:192
網路老菩薩什麼意思 瀏覽:845
蘋果復雜密碼字母怎麼輸入 瀏覽:532
iis7應用程序池回收設置 瀏覽:420
javadoc文件夾 瀏覽:876

友情鏈接