大數據標簽定義

① 什麼是「大數據」，如何理解「大數據」

• 大數據的定義。大數據，又稱巨量資料，指的是所涉及的數據資料量規模巨大到無法通過人腦甚至主流軟體工具，在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。

  

② 大數據定義、思維方式及架構模式

大數據定義、思維方式及架構模式
一、大數據何以為大
數據現在是個熱點詞彙，關於有了大數據，如何發揮大數據的價值，議論紛紛，而筆者以為，似乎這有點搞錯了原因與結果，就象關聯關系，有A的時候，B與之關聯，而有B的時候，A卻未必關聯，筆者還是從通常的4個V來描述一下我所認為的大數據思維。
1、大數據的量，數據量足夠大，達到了統計性意義，才有價值。筆者看過的一個典型的案例就是，例如傳統的，收集幾千條數據，很難發現血緣關系對遺傳病的影響，而一旦達到2萬條以上，那麼發現這種影響就會非常明顯。那麼對於我們在收集問題時，是為了發現隱藏的知識去收集數據，還是不管有沒有價值地收集，這還是值得商榷的。其實收集數據，對於數據本身，還是可以劃分出一些標准，確立出層級，結合需求、目標來收集，當然有人會說，這樣的話，將會導致巨大的偏差，例如說喪失了數據的完整性，有一定的主觀偏向，但是筆者以為，這樣至少可以讓收集到的數據的價值相對較高。
2、大數據的種類，也可以說成數據的維度，對於一個對象，採取標簽化的方式，進行標記，針對需求進行種類的擴充，和數據的量一樣，筆者認為同樣是建議根據需求來確立，但是對於標簽，有一個通常採取的策略，那就是推薦標簽和自定義標簽的問題，分類法其實是人類文明的一大創舉，採取推薦標簽的方式，可以大幅度降低標簽的總量，而減少後期的規約工作，數據收集時擴充量、擴充維度，但是在數據進入應用狀態時，我們是希望處理的是小數據、少維度，而通過這種推薦、可選擇的方式，可以在標准化基礎上的自定義，而不是毫無規則的擴展，甚至用戶的自定義標簽給予一定的限制，這樣可以使維度的價值更為顯現。
3、關於時效性，現在進入了讀秒時代，那麼在很短的時間進行問題分析、關聯推薦、決策等等，需要的數據量和數據種類相比以前，往往更多，換個說法，因為現在時效性要求高了，所以處理數據的方式變了，以前可能多人處理，多次處理，現在必須變得單人處理、單次處理，那麼相應的信息系統、工作方式、甚至企業的組織模式，管理績效都需要改變，例如筆者曾經工作的企業，上了ERP系統，設計師意見很大，說一個典型案例，以往發一張變更單，發出去工作結束，而上了ERP系統以後，就必須為這張變更單設定物料代碼，設置需要查詢物料的存儲，而這些是以前設計師不管的，又沒有為設計師為這些增加的工作支付獎勵，甚至因為物料的缺少而導致變更單不能發出，以至於設計師工作沒有完成，導致被處罰。但是我們從把工作一次就做完，提升企業的工作效率角度，這樣的設計變更與物料集成的方式顯然是必須的。那麼作為一個工作人員，如何讓自己的工作更全面，更完整，避免王府，讓整個企業工作更具有時間的競爭力，提高數據的數量、種類、處理能力是必須的。
4、關於大數據價值，一種說法是大數據有大價值，還有一種是相對於以往的結構化數據、少量數據，現在是大數據了，所以大數據的單位價值下降。筆者以為這兩種說法都正確，這是一個從總體價值來看，一個從單元數據價值來看的問題。而筆者提出一個新的關於大數據價值的觀點，那就是真正發揮大數據的價值的另外一個思路。這個思路就是針對企業的問題，首先要說什麼是問題，筆者說的問題不是一般意義上的問題，因為一說問題，大家都以為不好、錯誤等等，而筆者的問題的定義是指狀態與其期望狀態的差異，包括三種模式，
1）通常意義的問題，例如失火了，必須立即撲救，其實這是三種模式中最少的一種；
2）希望保持狀態，
3）期望的狀態，這是比原來的狀態高一個層級的。
我們針對問題，提出一系列解決方案，這些解決方案往往有多種，例如員工的培訓，例如設備的改進，例如組織的方式的變化，當然解決方案包括信息化手段、大數據手段，我們一樣需要權衡大數據的方法是不是一種相對較優的方法，如果是，那麼用這種手段去解決，那麼也就是有價值了。例如筆者知道的一個案例，一個企業某產品部件偶爾會出現問題，企業經歷數次後決定針對設備上了一套工控系統，記錄材料的溫度，結果又一次出現問題時，進行分析認為，如果工人正常上班操作，不應該有這樣的數據記錄，而經過與值班工人的質詢，值班工人承認其上晚班時睡覺，沒有及時處理。再往後，同樣的問題再沒有再次發生。
總結起來，筆者以為大數據思維的核心還是要落實到價值上，面向問題，收集足夠量的數據，足夠維度的數據，達到具有統計學意義，也可以滿足企業生產、客戶需求、甚至競爭的時效要求，而不是一味為了大數據而大數據，這樣才是一種務實、有效的正確思維方式，是一線大數據的有效的項目推進方式，在這樣的思維模式基礎上，採取滾雪球方式，把大數據逐步展開，才真正贏來大數據百花齊放的春天。
二、大數據思維方式
大數據研究專家舍恩伯格指出，大數據時代，人們對待數據的思維方式會發生如下三個變化：
1）人們處理的數據從樣本數據變成全部數據；
2）由於是全樣本數據，人們不得不接受數據的混雜性，而放棄對精確性的追求；
3）人類通過對大數據的處理，放棄對因果關系的渴求，轉而關注相關關系。
事實上，大數據時代帶給人們的思維方式的深刻轉變遠不止上述三個方面。筆者認為，大數據思維最關鍵的轉變在於從自然思維轉向智能思維，使得大數據像具有生命力一樣，獲得類似於「人腦」的智能，甚至智慧。
1、總體思維
社會科學研究社會現象的總體特徵，以往采樣一直是主要數據獲取手段，這是人類在無法獲得總體數據信息條件下的無奈選擇。在大數據時代，人們可以獲得與分析更多的數據，甚至是與之相關的所有數據，而不再依賴於采樣，從而可以帶來更全面的認識，可以更清楚地發現樣本無法揭示的細節信息。
正如舍恩伯格總結道：「我們總是習慣把統計抽樣看作文明得以建立的牢固基石，就如同幾何學定理和萬有引力定律一樣。但是，統計抽樣其實只是為了在技術受限的特定時期，解決當時存在的一些特定問題而產生的，其歷史不足一百年。如今，技術環境已經有了很大的改善。在大數據時代進行抽樣分析就像是在汽車時代騎馬一樣。
在某些特定的情況下，我們依然可以使用樣本分析法，但這不再是我們分析數據的主要方式。」也就是說，在大數據時代，隨著數據收集、存儲、分析技術的突破性發展，我們可以更加方便、快捷、動態地獲得研究對象有關的所有數據，而不再因諸多限制不得不採用樣本研究方法，相應地，思維方式也應該從樣本思維轉向總體思維，從而能夠更加全面、立體、系統地認識總體狀況。
2、容錯思維
在小數據時代，由於收集的樣本信息量比較少，所以必須確保記錄下來的數據盡量結構化、精確化，否則，分析得出的結論在推及總體上就會「南轅北轍」，因此，就必須十分注重精確思維。然而，在大數據時代，得益於大數據技術的突破，大量的非結構化、異構化的數據能夠得到儲存和分析，這一方面提升了我們從數據中獲取知識和洞見的能力，另一方面也對傳統的精確思維造成了挑戰。
舍恩伯格指出，「執迷於精確性是信息缺乏時代和模擬時代的產物。只有5%的數據是結構化且能適用於傳統資料庫的。如果不接受混亂，剩下95%的非結構化數據都無法利用，只有接受不精確性，我們才能打開一扇從未涉足的世界的窗戶」。也就是說，在大數據時代，思維方式要從精確思維轉向容錯思維，當擁有海量即時數據時，絕對的精準不再是追求的主要目標，適當忽略微觀層面上的精確度，容許一定程度的錯誤與混雜，反而可以在宏觀層面擁有更好的知識和洞察力。
3、相關思維
在小數據世界中，人們往往執著於現象背後的因果關系，試圖通過有限樣本數據來剖析其中的內在機理。小數據的另一個缺陷就是有限的樣本數據無法反映出事物之間的普遍性的相關關系。而在大數據時代，人們可以通過大數據技術挖掘出事物之間隱蔽的相關關系，獲得更多的認知與洞見，運用這些認知與洞見就可以幫助我們捕捉現在和預測未來，而建立在相關關系分析基礎上的預測正是大數據的核心議題。
通過關注線性的相關關系，以及復雜的非線性相關關系，可以幫助人們看到很多以前不曾注意的聯系，還可以掌握以前無法理解的復雜技術和社會動態，相關關系甚至可以超越因果關系，成為我們了解這個世界的更好視角。舍恩伯格指出，大數據的出現讓人們放棄了對因果關系的渴求，轉而關注相關關系，人們只需知道「是什麼」，而不用知道「為什麼」。我們不必非得知道事物或現象背後的復雜深層原因，而只需要通過大數據分析獲知「是什麼」就意義非凡，這會給我們提供非常新穎且有價值的觀點、信息和知識。也就是說，在大數據時代，思維方式要從因果思維轉向相關思維，努力顛覆千百年來人類形成的傳統思維模式和固有偏見，才能更好地分享大數據帶來的深刻洞見。
4、智能思維
不斷提高機器的自動化、智能化水平始終是人類社會長期不懈努力的方向。計算機的出現極大地推動了自動控制、人工智慧和機器學習等新技術的發展，「機器人」研發也取得了突飛猛進的成果並開始一定應用。應該說，自進入到信息社會以來，人類社會的自動化、智能化水平已得到明顯提升，但始終面臨瓶頸而無法取得突破性進展，機器的思維方式仍屬於線性、簡單、物理的自然思維，智能水平仍不盡如人意。
但是，大數據時代的到來，可以為提升機器智能帶來契機，因為大數據將有效推進機器思維方式由自然思維轉向智能思維，這才是大數據思維轉變的關鍵所在、核心內容。眾所周知，人腦之所以具有智能、智慧，就在於它能夠對周遭的數據信息進行全面收集、邏輯判斷和歸納總結，獲得有關事物或現象的認識與見解。同樣，在大數據時代，隨著物聯網、雲計算、社會計算、可視技術等的突破發展，大數據系統也能夠自動地搜索所有相關的數據信息，並進而類似「人腦」一樣主動、立體、邏輯地分析數據、做出判斷、提供洞見，那麼，無疑也就具有了類似人類的智能思維能力和預測未來的能力。
「智能、智慧」是大數據時代的顯著特徵，大數據時代的思維方式也要求從自然思維轉向智能思維，不斷提升機器或系統的社會計算能力和智能化水平，從而獲得具有洞察力和新價值的東西，甚至類似於人類的「智慧」。
舍恩伯格指出，「大數據開啟了一個重大的時代轉型。就像望遠鏡讓我們感受宇宙，顯微鏡讓我們能夠觀測到微生物一樣，大數據正在改變我們的生活以及理解世界的方式，成為新發明和新服務的源泉，而更多的改變正蓄勢待發」。
大數據時代將帶來深刻的思維轉變，大數據不僅將改變每個人的日常生活和工作方式，改變商業組織和社會組織的運行方式，而且將從根本上奠定國家和社會治理的基礎數據，徹底改變長期以來國家與社會諸多領域存在的「不可治理」狀況，使得國家和社會治理更加透明、有效和智慧。

③ 大數據是什麼

作者：李麗
鏈接：https://www.hu.com/question/23896161/answer/28624675
來源：知乎
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請註明出處。

"大數據"是一個體量特別大，數據類別特別大的數據集，並且這樣的數據集無法用傳統資料庫工具對其內容進行抓取、管理和處理。 "大數據"首先是指數據體量(volumes)?大，指代大型數據集，一般在10TB?規模左右，但在實際應用中，很多企業用戶把多個數據集放在一起，已經形成了PB級的數據量；其次是指數據類別(variety)大，數據來自多種數據源，數據種類和格式日漸豐富，已沖破了以前所限定的結構化數據范疇，囊括了半結構化和非結構化數據。接著是數據處理速度（Velocity）快，在數據量非常龐大的情況下，也能夠做到數據的實時處理。最後一個特點是指數據真實性（Veracity）高，隨著社交數據、企業內容、交易與應用數據等新數據源的興趣，傳統數據源的局限被打破，企業愈發需要有效的信息之力以確保其真實性及安全性。
"大數據"是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。從數據的類別上看，"大數據"指的是無法使用傳統流程或工具處理或分析的信息。它定義了那些超出正常處理范圍和大小、迫使用戶採用非傳統處理方法的數據集。
亞馬遜網路服務（AWS）、大數據科學家JohnRauser提到一個簡單的定義：大數據就是任何超過了一台計算機處理能力的龐大數據量。
研發小組對大數據的定義："大數據是最大的宣傳技術、是最時髦的技術，當這種現象出現時，定義就變得很混亂。" Kelly說："大數據是可能不包含所有的信息，但我覺得大部分是正確的。對大數據的一部分認知在於，它是如此之大，分析它需要多個工作負載，這是AWS的定義。當你的技術達到極限時，也就是數據的極限"。 大數據不是關於如何定義，最重要的是如何使用。最大的挑戰在於哪些技術能更好的使用數據以及大數據的應用情況如何。這與傳統的資料庫相比，開源的大數據分析工具的如Hadoop的崛起，這些非結構化的數據服務的價值在哪裡。
二、大數據分析
從所周知，大數據已經不簡簡單單是數據大的事實了，而最重要的現實是對大數據進行分析，只有通過分析才能獲取很多智能的，深入的，有價值的信息。那麼越來越多的應用涉及到大數據，而這些大數據的屬性，包括數量，速度，多樣性等等都是呈現了大數據不斷增長的復雜性，所以大數據的分析方法在大數據領域就顯得尤為重要，可以說是決定最終信息是否有價值的決定性因素。基於如此的認識，大數據分析普遍存在的方法理論有哪些呢？
1、可視化分析
大數據分析的使用者有大數據分析專家，同時還有普通用戶，但是他們二者對於大數據分析最基本的要求就是可視化分析，因為可視化分析能夠直觀的呈現大數據特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明了
2、數據挖掘演算法
大數據分析的理論核心就是數據挖掘演算法，各種數據挖掘的演算法基於不同的數據類型和格式才能更加科學的呈現出數據本身具備的特點，也正是因為這些被全世界統計學家所公認的各種統計方法（可以稱之為真理）才能深入數據內部，挖掘出公認的價值。另外一個方面也是因為有這些數據挖掘的演算法才能更快速的處理大數據，如果一個演算法得花上好幾年才能得出結論，那大數據的價值也就無從說起了。
3、預測性分析能力
大數據分析最終要的應用領域之一就是預測性分析，從大數據中挖掘出特點，通過科學的建立模型，之後便可以通過模型帶入新的數據，從而預測未來的數據。
4、數據質量和數據管理
大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理，無論是在學術研究還是在商業應用領域，都能夠保證分析結果的真實和有價值。
大數據分析的基礎就是以上五個方面，當然更加深入大數據分析的話，還有很多很多更加有特點的、更加深入的、更加專業的大數據分析方法。
三、大數據技術
1、數據採集：ETL工具負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後載入到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。
2、數據存取：關系資料庫、NOSQL、SQL等。
3、基礎架構：雲存儲、分布式文件存儲等。
4、數據處理：自然語言處理(NLP，NaturalLanguageProcessing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計算機"理解"自然語言，所以自然語言處理又叫做自然語言理解(NLU，NaturalLanguage Understanding)，也稱為計算語言學(Computational Linguistics。一方面它是語言信息處理的一個分支，另一方面它是人工智慧(AI, Artificial Intelligence)的核心課題之一。
5、統計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析（最優尺度分析）、bootstrap技術等等。
6、數據挖掘：分類
（Classification）、估計（Estimation）、預測（Prediction）、相關性分組或關聯規則（Affinity grouping or
association rules）、聚類（Clustering）、描述和可視化、Description and Visualization）、復雜數據類型挖掘(Text,
Web ,圖形圖像，視頻，音頻等)
7、模型預測：預測模型、機器學習、建模模擬。
8、結果呈現：雲計算、標簽雲、關系圖等。
四、大數據特點
要理解大數據這一概念，首先要從"大"入手，"大"是指數據規模，大數據一般指在10TB(1TB=1024GB)規模以上的數據量。大數據同過去的海量數據有所區別，其基本特徵可以用4個V來總結(Vol-ume、Variety、Value和Veloc-ity)，即體量大、多樣性、價值密度低、速度快。
1、
數據體量巨大。從TB級別，躍升到PB級別。
2、
數據類型繁多，如前文提到的網路日誌、視頻、圖片、地理位置信息，等等。
3、
價值密度低。以視頻為例，連續不間斷監控過程中，可能有用的數據僅僅有一兩秒。
4、
處理速度快。1秒定律。最後這一點也是和傳統的數據挖掘技術有著本質的不同。物聯網、雲計算、移動互聯網、車聯網、手機、平板電腦、PC以及遍布地球各個角落的各種各樣的感測器，無一不是數據來源或者承載的方式。
大數據技術是指從各種各樣類型的巨量數據中，快速獲得有價值信息的技術。解決大數據問題的核心是大數據技術。目前所說的"大數據"不僅指數據本身的規模，也包括採集數據的工具、平台和數據分析系統。大數據研發目的是發展大數據技術並將其應用到相關領域，通過解決巨量數據處理問題促進其突破性發展。因此，大數據時代帶來的挑戰不僅體現在如何處理巨量數據從中獲取有價值的信息，也體現在如何加強大數據技術研發，搶占時代發展的前沿。
五、大數據處理
大數據處理之一：採集
大數據的採集是指利用多個資料庫來接收發自客戶端（Web、App或者感測器形式等）的數據，並且用戶可以通過這些資料庫來進行簡單的查詢和處理工作。比如，電商會使用傳統的關系型資料庫MySQL和Oracle等來存儲每一筆事務數據，除此之外，Redis和MongoDB這樣的NoSQL資料庫也常用於數據的採集。
在大數據的採集過程中，其主要特點和挑戰是並發數高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網站和淘寶，它們並發的訪問量在峰值時達到上百萬，所以需要在採集端部署大量資料庫才能支撐。並且如何在這些資料庫之間進行負載均衡和分片的確是需要深入的思考和設計。
大數據處理之二：導入/預處理
雖然採集端本身會有很多資料庫，但是如果要對這些海量數據進行有效的分析，還是應該將這些來自前端的數據導入到一個集中的大型分布式資料庫，或者分布式存儲集群，並且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。
導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鍾的導入量經常會達到百兆，甚至千兆級別。
大數據處理之三：統計/分析
統計與分析主要利用分布式資料庫，或者分布式計算集群來對存儲於其內的海量數據進行普通的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基於MySQL的列式存儲Infobright等，而一些批處理，或者基於半結構化數據的需求可以使用Hadoop。
統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的佔用。
大數據處理之四：挖掘
與前面統計和分析過程不同的是，數據挖掘一般沒有什麼預先設定好的主題，主要是在現有數據上面進行基於各種演算法的計算，從而起到預測（Predict）的效果，從而實現一些高級別數據分析的需求。比較典型演算法有用於聚類的Kmeans、用於統計學習的SVM和用於分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰主要是用於挖掘的演算法很復雜，並且計算涉及的數據量和計算量都很大，常用數據挖掘演算法都以單線程為主。
整個大數據處理的普遍流程至少應該滿足這四個方面的步驟，才能算得上是一個比較完整的大數據處理
六、大數據應用與案例分析
大數據應用的關鍵，也是其必要條件，就在於"IT"與"經營"的融合，當然，這里的經營的內涵可以非常廣泛，小至一個零售門店的經營，大至一個城市的經營。以下是關於各行各業，不同的組織機構在大數據方面的應用的案例，在此申明，以下案例均來源於網路，本文僅作引用，並在此基礎上作簡單的梳理和分類。
大數據應用案例之：醫療行業
[1] Seton Healthcare是採用IBM最新沃森技術醫療保健內容分析預測的首個客戶。該技術允許企業找到大量病人相關的臨床醫療信息，通過大數據處理，更好地分析病人的信息。
[2] 在加拿大多倫多的一家醫院，針對早產嬰兒，每秒鍾有超過3000次的數據讀取。通過這些數據分析，醫院能夠提前知道哪些早產兒出現問題並且有針對性地採取措施，避免早產嬰兒夭折。
[3] 它讓更多的創業者更方便地開發產品，比如通過社交網路來收集數據的健康類App。也許未來數年後，它們搜集的數據能讓醫生給你的診斷變得更為精確，比方說不是通用的成人每日三次一次一片，而是檢測到你的血液中葯劑已經代謝完成會自動提醒你再次服葯。
大數據應用案例之：能源行業
[1] 智能電網現在歐洲已經做到了終端，也就是所謂的智能電表。在德國，為了鼓勵利用太陽能，會在家庭安裝太陽能，除了賣電給你，當你的太陽能有多餘電的時候還可以買回來。通過電網收集每隔五分鍾或十分鍾收集一次數據，收集來的這些數據可以用來預測客戶的用電習慣等，從而推斷出在未來2~3個月時間里，整個電網大概需要多少電。有了這個預測後，就可以向發電或者供電企業購買一定數量的電。因為電有點像期貨一樣，如果提前買就會比較便宜，買現貨就比較貴。通過這個預測後，可以降低采購成本。

[2] 維斯塔斯風力系統，依靠的是BigInsights軟體和IBM超級計算機，然後對氣象數據進行分析，找出安裝風力渦輪機和整個風電場最佳的地點。利用大數據，以往需要數周的分析工作，現在僅需要不足1小時便可完成。
大數據應用案例之：通信行業
[1] XO Communications通過使用IBM SPSS預測分析軟體，減少了將近一半的客戶流失率。XO現在可以預測客戶的行為，發現行為趨勢，並找出存在缺陷的環節，從而幫助公司及時採取措施，保留客戶。此外，IBM新的Netezza網路分析加速器，將通過提供單個端到端網路、服務、客戶分析視圖的可擴展平台，幫助通信企業制定更科學、合理決策。
[2] 電信業者透過數以千萬計的客戶資料，能分析出多種使用者行為和趨勢，賣給需要的企業，這是全新的資料經濟。
[3] 中國移動通過大數據分析，對企業運營的全業務進行針對性的監控、預警、跟蹤。系統在第一時間自動捕捉市場變化，再以最快捷的方式推送給指定負責人，使他在最短時間內獲知市場行情。
[4] NTT docomo把手機位置信息和互聯網上的信息結合起來，為顧客提供附近的餐飲店信息，接近末班車時間時，提供末班車信息服務。

④ 大數據的定義

大數據(big data)，或稱巨量資料，指的是所涉及的資料量規模巨大到無法透過主流軟體工具，在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。

在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中大數據指不用隨機分析法（抽樣調查）這樣捷徑，而採用所有數據進行分析處理。

大數據的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。

大數據的價值體現在以下幾個方面：

（1）對大量消費者提供產品或服務的企業可以利用大數據進行精準營銷。

（2）做小而美模式的中小微企業可以利用大數據做服務轉型。

（3）面臨互聯網壓力之下必須轉型的傳統企業需要與時俱進充分利用大數據的價值。

⑤ 大數據是怎麼定義的，大數據包括什麼

最早提出大數據的是麥肯錫公司，當時的定義是：

滲透在每一個行業和業務領域的數據，通過人們對這些海量數據的挖掘和運用，產生出一波新的生產率增長和消費者盈餘浪潮。

後來麥肯錫全球研究所給出的定義是：

一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統資料庫軟體工具能力范圍的數據集合，具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特徵。

研究機構Gartner給出了這樣的定義：

「大數據」是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。

網路的定義：

指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，所涉及的數據資料量規模巨大到無法通過人腦甚至主流軟體工具，在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。

簡單理解為：

"大數據"是一個體量特別大，數據類別特別大的數據集，並且這樣的數據集無法用傳統資料庫工具對其內容進行抓取、管理和處理。簡單的說就是超級存儲，海量數據上傳到雲平台後，大數據就會對數據進行深入分析和挖掘。

⑥ 什麼是大數據

• 01

  大數據指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

  什麼是大數據

  大數據指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

  大數據歷史和當前考慮因素

  雖然術語“大數據”相對較新，但收集和存儲大量信息以進行最終分析的行為已經很久了。這個概念在 21 世紀初獲得了動力，當時行業分析師 Doug Laney 將現在主流的大數據定義表達為三個 V：

  1.卷，組織從各種來源收集數據，包括業務交易，社交媒體和來自感測器或機器到機器數據的信息。在過去，存儲它將是一個問題 – 但新技術（如 Hadoop）減輕了負擔。

  2.速度，數據以前所未有的速度流入，必須及時處理。RFID 標簽，感測器和智能電表正在推動近乎實時處理數據的需求。

  3.品種，數據有各種格式 – 從傳統資料庫中的結構化數字數據到非結構化文本文檔，電子郵件，視頻，音頻，股票報價數據和金融交易。

  在 SAS，我們在大數據方面考慮兩個額外的維度：

  1.變化性，除了速度和數據種類的增加之外，數據流還可能與周期性峰值高度不一致。社交媒體中有什麼趨勢嗎？每日，季節性和事件觸發的峰值數據負載可能難以管理。非結構化數據更是如此。

  2.復雜，今天的數據來自多個來源，這使得難以跨系統鏈接，匹配，清理和轉換數據。但是，有必要連接和關聯關系，層次結構和多個數據鏈接，否則您的數據可能會迅速失控。

  為什麼大數據很重要？

  大數據的重要性不在於您擁有多少數據，而在於您使用它做了多少。您可以從任何來源獲取數據並進行分析，以找到能夠降低成本，減少時間，新產品開發和優化產品，以及智能決策的答案。將大數據與高性能分析結合使用時，您可以完成與業務相關的任務，例如：

  1.近乎實時地確定故障，問題和缺陷的根本原因；

  2.根據客戶的購買習慣在銷售點生成優惠券；

  3.在幾分鍾內重新計算整個風險組合；

  4.在欺詐行為影響您的組織之前檢測它。