㈠ 大數據的內涵是什麼
中國發展門戶網訊 隨著新一代信息技術的迅猛發展和深入應用,數據的數量、規模不斷擴大,數據已日益成為土地、資本之後的又一種重要的生產要素,和各個國家和地區爭奪的重要資源,誰掌握數據的主動權和主導權,誰就能贏得未來。奧巴馬政府將數據定義為「未來的新石油」,認為一個國家擁有數據的規模、活性及解釋運用的能力將成為綜合國力的重要組成部分,對數據的佔有和控制將成為繼陸權、海權、空權之外的另一個國家核心權力。此後,一個全新的概念——大數據開始風靡全球。
大數據的概念與內涵
「大數據」的概念早已有之,1980年著名未來學家阿爾文攜攔•托夫勒便在《第三次浪潮》一書中,將大數據熱情地贊頌為攜喚「第三次浪潮的華彩樂章」。但是直到近幾年,「大數據」才與「雲計算」、「物聯網」一道,成為互聯網信息技術行業的流行詞彙。2008年,在谷歌成立10周年之際, 著名的《自然》雜志出版了一期專刊,專門討論未來的大數據處理相關的一系列技術問題和挑戰,其中就提出了「Big Data」的概念。2011年5 月,在「雲計算相遇大數據」 為主題的EMC World 2011 會議中,EMC 也拋出了Big Data概念。所以,很多人認為,2011年是大數據元年。
此後,諸多專家、機構從不同角度提出了對大數據理解。當然,由於大數據辯隱凱本身具有較強的抽象性,目前國際上尚沒有一個統一公認的定義。維基網路認為大數據是超過當前現有的資料庫系統或資料庫管理工具處理能力,處理時間超過客戶能容忍時間的大規模復雜數據集。全球排名第一的企業數據集成軟體商Informatica認為大數據包括海量數據和復雜數據類型,其規模超過傳統資料庫系統進行管理和處理的能力。亞馬遜網路服務(AWS)、大數據科學家JohnRauser提到一個簡單的定義:大數據就是任何超過了一台計算機處理能力的龐大數據量。網路搜索的定義為:"大數據"是一個體量特別大,數據類別特別大的數據集,並且這樣的數據集無法用傳統資料庫工具對其內容進行抓取、管理和處理。互聯網周刊的定義為:"大數據"的概念遠不止大量的數據(TB)和處理大量數據的技術,或者所謂的"4個V"之類的簡單概念,而是涵蓋了人們在大規模數據的基礎上可以做的事情,而這些事情在小規模數據的基礎上是無法實現的。換句話說,大數據讓我們以一種前所未有的方式,通過對海量數據進行分析,獲得有巨大價值的產品和服務,或深刻的洞見,最終形成變革之力。
綜合上述不同的定義,我們認為,大數據至少應包括以下兩個方面:一是數量巨大,二是無法使用傳統工具處理。因此,大數據不是關於如何定義,最重要的是如何使用。它強調的不僅是數據的規模,更強調從海量數據中快速獲得有價值信息和知識的能力。
大數據4V特徵
一般認為,大數據主要具有以下四個方面的典型特徵:規模性(Volume)、多樣性(Varity)、高速性(Velocity)和價值性(Value),即所謂的「4V」。
1.規模性。大數據的特徵首先就體現為「數量大」,存儲單位從過去的GB到TB,直至PB、EB。隨著信息技術的高速發展,數據開始爆發性增長。社交網路(微博、推特、臉書)、移動網路、各種智能終端等,都成為數據的來源。淘寶網近4億的會員每天產生的商品交易數據約20TB;臉書約10億的用戶每天產生的日誌數據超過300TB。迫切需要智能的演算法、強大的數據處理平台和新的數據處理技術,來統計、分析、預測和實時處理如此大規模的數據。
2.多樣性。廣泛的數據來源,決定了大數據形式的多樣性。大數據大體可分為三類:一是結構化數據,如財務系統數據、信息管理系統數據、醫療系統數據等,其特點是數據間因果關系強;二是非結構化的數據,如視頻、圖片、音頻等,其特點是數據間沒有因果關系;三是半結構化數據,如HTML文檔、郵件、網頁等,其特點是數據問的因果關系弱。
3.高速性。與以往的檔案、廣播、報紙等傳統數據載體不同,大數據的交換和傳播是通過互聯網、雲計算等方式實現的,遠比傳統媒介的信息交換和傳播速度快捷。大數據與海量數據的重要區別,除了大數據的數據規模更大以外,大數據對處理數據的響應速度有更嚴格的要求。實時分析而非批量分析,數據輸入、處理與丟棄立刻見效,幾乎無延遲。數據的增長速度和處理速度是大數據高速性的重要體現。
4.價值性。這也是大數據的核心特徵。現實世界所產生的數據中,有價值的數據所佔比例很小。相比於傳統的小數據,大數據最大的價值在於通過從大量不相關的各種類型的數據中,挖掘出對未來趨勢與模式預測分析有價值的數據,並通過機器學習方法、人工智慧方法或數據挖掘方法深度分析,發現新規律和新知識,並運用於農業、金融、醫療等各個領域,從而最終達到改善社會治理、提高生產效率、推進科學研究的效果。
大數據六大發展趨勢
雖然大數據目前仍處在發展的起步階段,尚存在著諸多的困難與挑戰,但我們相信,隨著時間的推移,大數據未來的發展前景非常可觀。
1.數據將呈現指數級增長
近年來,隨著社交網路、移動互聯、電子商務、互聯網和雲計算的興起,音頻、視頻、圖像、日誌等各類數據正在以指數級增長。據有關資料顯示,2011年,全球數據規模為1.8ZB,可以填滿575億個32GB的iPad,這些iPad可以在中國修建兩座長城。到2020年,全球數據將達到40ZB,如果把它們全部存入藍光光碟,這些光碟和424艘尼米茲號航母重量相當。美國互聯網數據中心則指出,互聯網上的數據每年將增長50%,每兩年便將翻一番,目前世界上90%以上的數據是最近幾年才產生的。
2.數據將成為最有價值的資源
在大數據時代,數據成為繼土地、勞動、資本之後的新要素,構成企業未來發展的核心競爭力。《華爾街日報》在一份題為《大數據,大影響》的報告宣傳,數據已經成為一種新的資產類別,就像貨幣或黃金一樣。IBM執行總裁羅睿蘭認為指出,「數據將成為一切行業當中決定勝負的根本因素,最終數據將成為人類至關重要的自然資源。」隨著大數據應用的不斷發展,我們有理由相信大數據將成為機構和企業的重要資產和爭奪的焦點谷歌、蘋果、亞馬遜、阿里巴巴、騰訊等互聯網巨頭正在運用大數據力量獲得商業上更大的成功,並且將會繼續通過大數據來提升自己的競爭力。
3.大數據和傳統行業智能融合
通過對大數據收集、整理、分析、挖掘, 我們不僅可以發現城市治理難題,掌握經濟運行趨勢,還能夠驅動精確設計和精確生產模式,引領服務業的精確化和增值化,創造互動的創意產業新形態。麥當勞、肯德基以及蘋果公司等旗艦專賣店的位置都是建立在數據分析基礎之上的精準選址。網路、阿里、騰訊等通過對海量數據的掌握和分析,為用戶提供更加專業化和個性化的服務。在智慧城市建設不斷深入的情況下,大數據必將在智慧城市中發揮越來越重要的作用。由城市數字化到智慧城市,關鍵是要實現對數字信息的智慧處理,其核心是引入了大數據處理技術,大數據將成為智慧城市的核心智慧引擎。智慧金融、智慧安防、智慧醫療、智慧教育、智慧交通、智慧城管等,無不是大數據和傳統產業融合的重要領域。
4.數據將越來越開放
大數據是人類的共同資源、共同財富,數據開放共享是不可逆轉的歷史潮流。隨著各國政府和企業對開放數據帶來的社會效益和商業價值認識的不斷提升,全球必將很快掀起一股數據開放的熱潮。事實上,大數據的發展需要全世界、全人類的共同協作,變私有大數據為公共大數據,最終實現私有、企業自有、行業自有的全球性大數據整合,才不至形成一個個毫無價值的「數據孤島」。大數據越關聯越有價值,越開放越有價值。尤其是公共事業和互聯網企業的數據開放數據將越來越多。目前,美歐等發達國家和地區的政府都在政府和公共事業上的數據做出了表率。中國政府也將一方面帶頭力促數據公開共享,另一方面,還通過推動建設各類大數據服務交易平台,為數據使用者提供豐富的數據來源和數據的應用。
5.大數據安全將日受重視
大數據在經濟社會中應用日益廣泛的同時,大數據的安全也必將受到更多的重視。大數據時代,在我們用數據挖掘和數據分析等大數據技術獲取有價值信息的同時,「黑客」也可以利用這些大數據技術最大限度地收集更多有用信息,對其感興趣的目標發起更加「精準的」攻擊。近年來,個人隱私、企業商業信息甚至是國家機密泄露事件時有發生。對此,美歐等發達國家紛紛制定完善了保護信息安全、防止隱私泄露等相關法律法規。可以預見,在不久的將來,其他國家也會迅速跟進,以更好地保障本國政府、企業乃至居民的數據安全。
6.大數據人才將備受歡迎
隨著大數據的不斷發展及其應用的日益廣泛,包括大數據分析師、數據管理專家、大數據演算法工程師、數據產品經理等在內的具有豐富經驗的數據分析人員將成為全社會稀缺的資源和各機構爭奪的人才。據著名國際咨詢公司Gartner預測,2015年全球大數據人才需求將達到440萬人,而人才市場僅能夠滿足需求的三分之一。麥肯錫公司則預測美國到2018年需要深度數據分析人才44萬—49萬,缺口為14萬—19萬人。有鑒於此,美國通過國家科學基金會,鼓勵研究性大學設立跨學科的學位項目,為培養下一代數據科學家和工程師做准備,並設立培訓基金支持對大學生進行相關技術培訓,召集各個學科的研究人員共同探討大數據如何改變教育和學習等。英國、澳大利亞、法國等國家也類似地對大數據人才的培養做出專項部署。IBM 等企業也開始全面推進與高校在大數據領域的合作,力圖培養企業發展需要的既懂業務知識又具分析技能的復合型數據人才。(武鋒:國家信息中心)
㈡ 大數據的三重內涵
大數據的三重內涵
大數據在業內並沒有統一的定義。不同廠商、不同用戶,站的角度不同,對大數據的理解也不一樣。麥肯錫報告中對大數據的基本定義是:大數據是指其大小超出了典型資料庫軟體的採集、儲存、管理和分析等能力的數據集合。賽迪智庫指出,大數據是一個相對的概念,並沒有一個嚴格的標准限定多大規模的數據集合才稱得上是大數據。事實上,隨著時間推移和數據管理與處理技術的進步,符合大數據標準的數據集合的規模也在並將繼續增長。同時,對於不同行業領域和不同應用而言,「大數據」的規模也不統一。
雖然「大數據」直接代表的是數據集合這一靜態對象,但賽迪智庫經過深入研究認為,目前所提到的「大數據」,並不僅僅是大規模數據集合本身,而應當是數據對象、技術與應用三者的統一:
1.從對象角度看,大數據是大小超出典型資料庫軟體採集、儲存、管理和分析等能力的數據集合。需要注意的是,大數據並非大量數據簡單、無意義的堆積,數據量大並不意味著一定具有可觀的利用前景。由於最終目標是從大數據中獲取更多有價值的「新」信息,所以必然要求這些大量的數據之間存在著或遠或近、或直接或間接的關聯性,才具有相當的分析挖掘價值。數據間是否具有結構性和關聯性,是 「大數據」與「大規模數據」的重要差別。
2.從技術角度看,大數據技術是從各種各樣類型的大數據中,快速獲得有價值信息的技術及其集成。「大數據」與「大規模數據」、「海量數據」等類似概念間的最大區別,就在於「大數據」這一概念中包含著對數據對象的處理行為。為了能夠完成這一行為,從大數據對象中快速挖掘更多有價值的信息,使大數據「活起來」,就需要綜合運用靈活的、多學科的方法,包括數據聚類、數據挖掘、分布式處理等,而這就需要擁有對各類技術、各類軟硬體的集成應用能力。可見,大數據技術是使大數據中所蘊含的價值得以發掘和展現的重要工具。
3.從應用角度看,大數據是對特定的大數據集合、集成應用大數據技術、獲得有價值信息的行為。正由於與具體應用緊密聯系,甚至是一對一的聯系,才使得「應用」成為大數據不可或缺的內涵之一。
需要明確的是,大數據分析處理的最終目標,是從復雜的數據集合中發現新的關聯規則,繼而進行深度挖掘,得到有效用的新信息。如果數據量不小,但數據結構簡單,重復性高,分析處理需求也僅僅是根據已有規則進行數據分組歸類,未與具體業務緊密結合,依靠已有基本數據分析處理技術已足夠,則不能算作是完全的「大數據」,只是「大數據」的初級發展階段。
㈢ 大數據的含義包括什麼哪幾個方面
大數據是什麼?在很多人的眼裡大數據可能是一個很模糊的概念,但是,在日常生活中大數據有離我們很近,我們無時無刻不再享受著大數據所給我們帶來的便利,個性化,人性化。全面的了解大數據我們應該從四個方面簡單了解。定義,結構特點,我們身邊有哪些大數據,大數據帶來了什麼,這四個方面了解。
那麼「大數據」到底是什麼呢?
在麥肯錫全球研究所給出的定義中指出:大數據即是一種規模大到在獲取,存儲,管理,分析方面大大超出了傳統資料庫軟體工具能力范圍的數據集合。簡單而言大數據是數據多到爆表。大數據的單位一般以PB衡量。那麼PB是多大呢?1GB=1024MB ,1PB=1024GB才足以稱為大數據。
如圖:
衡量單位一覽表
其次,大數據具有什麼樣的特點和結構呢?
大數據從整體上看分為四個特點,第一,大量。
衡量單位PB級別,存儲內容多。
第二,高速。
大數據需要在獲取速度和分析速度上要及時迅速。保證在短時間內更多的人接收到信息。
第二,多樣。
數據的來源是各種渠道上獲取的,有文本數據,圖片數據,視頻數據等。因此數據是多種多樣的。
第三,價值。
大數據不僅僅擁有本身的信息價值,還擁有商業價值。大數據在結構上還分為:結構化,半結構化,非結構化。結構化簡單來講是資料庫,是由二維表來邏輯表達和實現的數據。非結構化即數據結構不規則或不完整,沒有預定義的數據模型。由人類產生的數據大部分是非結構化數據。
㈣ 誰能回答我什麼叫大數據大數據的核心內容是什麼呢
大數據包含幾個方面的內涵吧
1. 數據量大,TB,PB,乃至EB等數據量的數據需要分析處理。
2. 要求快速響應,市場變化快,要求能及時快速的響應變化,那對數據的分析也要快速,在性能上有更高要求,所以數據量顯得對速度要求有些「大」。
3. 數據多樣性:不同的數據源,非結構化數據越來越多,需要進行清洗,整理,篩選等操作,變為結構數據。
4. 價值密度低,由於數據採集的不及時,數據樣本不全面,數據可能不連續等等,數據可能會失真,但當數據量達到一定規模,可以通過更多的數據達到更真實全面的反饋。
很多行業都會有大數據需求,譬如電信行業,互聯網行業等等容易產生大量數據的行業,很多傳統行業,譬如醫葯,教育,采礦,電力等等任何行業,都會有大數據需求。
隨著業務的不斷擴張和歷史數據的不斷增加,數據量的增長是持續的。
如果需要分析大數據,則可以Hadoop等開源大數據項目,或Yonghong Z-Suite等商業大數據BI工具。
不同行業的數據有不同的自身特點,還需要結合自身的行業知識才能把大數據轉換為價值。
㈤ 大數據應有的三層內涵
1、深度服務行業大客戶,實現數據資產的商業應用變現
中源數聚作為全球領先的管理大數據綜合服務商,擁有超過30個細分領域的管理數據儲備。中源數據綜合運用最新的大數據挖掘技術,以及自身大量的專業積累,幫助各行各業的企業真正有效的實現管理大數據的應用價值。
將大小數據深度結合,解決結構化數據與非結構化數據的銜接,幫助各垂直領域的行業大型企業用好數據資產,創造出深層價值,助力企業管理的轉型升級。
2、建立管理大數據交易平台,打通數據孤島
中源數聚將傾力打造大數據領域的「雲平台」戰略。用開放共享的互聯網精神匯聚長尾大數據,打通大數據孤島,真正實現跨行業、跨領域的異構數據共享。最大化數據變現的商業前景。
中源數聚憑借自身的研究實力,投入建設管理數據資源池,逐步實現管理大數據交易平台的打造。通過共享、合作的方式深入到各細分領域的管理應用層,讓天下沒有難用的管理數據。
3、構建管理大數據生態體系,實現行業的全面升級
「復利」號稱人類歷史上的第八大奇跡,信息時代引爆了整個產業的冪次方增長模式,在未來「數據資產」將成為幫助企業實現冪次方增長最強勁的動力源。
中源數聚結合自身在管理大數據領域的研究實力和積累,服務於整個管理大數據產業鏈,構建完善的管理大數據生態體系,打通上、中、下游企業,建立管理大數據領域的良性循環體系,服務於管理大數據領域的大、中、小型公司。
(5)大數據的內涵有哪些內容擴展閱讀:
對於企業而言,「管理數據」可以是自身或者其他企業的管理信息和數據積累。例如對於某鋼鐵企業來說,該行業其他企業過去和現在的戰略描述、組織信息、管理制度、管理變革過程記錄等都屬於管理數據。
這種數據具有常年、廣泛的積累,可以稱之為管理大數據;管理大數據可以為組織變革提供及時有效的支撐,很多時候比企業聘請咨詢顧問更有價值,也更加可靠。