采樣達到什麼標准算大數據

⑴ 大數據定義、思維方式及架構模式

大數據定義、思維方式及架構模式
一、大數據何以為大
數據現在是個熱點詞彙，關於有了大數據，如何發揮大數據的價值，議論紛紛，而筆者以為，似乎這有點搞錯了原因與結果，就象關聯關系，有A的時候，B與之關聯，而有B的時候，A卻未必關聯，筆者還是從通常的4個V來描述一下我所認為的大數據思維。
1、大數據的量，數據量足夠大，達到了統計性意義，才有價值。筆者看過的一個典型的案例就是，例如傳統的，收集幾千條數據，很難發現血緣關系對遺傳病的影響，而一旦達到2萬條以上，那麼發現這種影響就會非常明顯。那麼對於我們在收集問題時，是為了發現隱藏的知識去收集數據，還是不管有沒有價值地收集，這還是值得商榷的。其實收集數據，對於數據本身，還是可以劃分出一些標准，確立出層級，結合需求、目標來收集，當然有人會說，這樣的話，將會導致巨大的偏差，例如說喪失了數據的完整性，有一定的主觀偏向，但是筆者以為，這樣至少可以讓收集到的數據的價值相對較高。
2、大數據的種類，也可以說成數據的維度，對於一個對象，採取標簽化的方式，進行標記，針對需求進行種類的擴充，和數據的量一樣，筆者認為同樣是建議根據需求來確立，但是對於標簽，有一個通常採取的策略，那就是推薦標簽和自定義標簽的問題，分類法其實是人類文明的一大創舉，採取推薦標簽的方式，可以大幅度降低標簽的總量，而減少後期的規約工作，數據收集時擴充量、擴充維度，但是在數據進入應用狀態時，我們是希望處理的是小數據、少維度，而通過這種推薦、可選擇的方式，可以在標准化基礎上的自定義，而不是毫無規則的擴展，甚至用戶的自定義標簽給予一定的限制，這樣可以使維度的價值更為顯現。
3、關於時效性，現在進入了讀秒時代，那麼在很短的時間進行問題分析、關聯推薦、決策等等，需要的數據量和數據種類相比以前，往往更多，換個說法，因為現在時效性要求高了，所以處理數據的方式變了，以前可能多人處理，多次處理，現在必須變得單人處理、單次處理，那麼相應的信息系統、工作方式、甚至企業的組織模式，管理績效都需要改變，例如筆者曾經工作的企業，上了ERP系統，設計師意見很大，說一個典型案例，以往發一張變更單，發出去工作結束，而上了ERP系統以後，就必須為這張變更單設定物料代碼，設置需要查詢物料的存儲，而這些是以前設計師不管的，又沒有為設計師為這些增加的工作支付獎勵，甚至因為物料的缺少而導致變更單不能發出，以至於設計師工作沒有完成，導致被處罰。但是我們從把工作一次就做完，提升企業的工作效率角度，這樣的設計變更與物料集成的方式顯然是必須的。那麼作為一個工作人員，如何讓自己的工作更全面，更完整，避免王府，讓整個企業工作更具有時間的競爭力，提高數據的數量、種類、處理能力是必須的。
4、關於大數據價值，一種說法是大數據有大價值，還有一種是相對於以往的結構化數據、少量數據，現在是大數據了，所以大數據的單位價值下降。筆者以為這兩種說法都正確，這是一個從總體價值來看，一個從單元數據價值來看的問題。而筆者提出一個新的關於大數據價值的觀點，那就是真正發揮大數據的價值的另外一個思路。這個思路就是針對企業的問題，首先要說什麼是問題，筆者說的問題不是一般意義上的問題，因為一說問題，大家都以為不好、錯誤等等，而筆者的問題的定義是指狀態與其期望狀態的差異，包括三種模式，
1）通常意義的問題，例如失火了，必須立即撲救，其實這是三種模式中最少的一種；
2）希望保持狀態，
3）期望的狀態，這是比原來的狀態高一個層級的。
我們針對問題，提出一系列解決方案，這些解決方案往往有多種，例如員工的培訓，例如設備的改進，例如組織的方式的變化，當然解決方案包括信息化手段、大數據手段，我們一樣需要權衡大數據的方法是不是一種相對較優的方法，如果是，那麼用這種手段去解決，那麼也就是有價值了。例如筆者知道的一個案例，一個企業某產品部件偶爾會出現問題，企業經歷數次後決定針對設備上了一套工控系統，記錄材料的溫度，結果又一次出現問題時，進行分析認為，如果工人正常上班操作，不應該有這樣的數據記錄，而經過與值班工人的質詢，值班工人承認其上晚班時睡覺，沒有及時處理。再往後，同樣的問題再沒有再次發生。
總結起來，筆者以為大數據思維的核心還是要落實到價值上，面向問題，收集足夠量的數據，足夠維度的數據，達到具有統計學意義，也可以滿足企業生產、客戶需求、甚至競爭的時效要求，而不是一味為了大數據而大數據，這樣才是一種務實、有效的正確思維方式，是一線大數據的有效的項目推進方式，在這樣的思維模式基礎上，採取滾雪球方式，把大數據逐步展開，才真正贏來大數據百花齊放的春天。
二、大數據思維方式
大數據研究專家舍恩伯格指出，大數據時代，人們對待數據的思維方式會發生如下三個變化：
1）人們處理的數據從樣本數據變成全部數據；
2）由於是全樣本數據，人們不得不接受數據的混雜性，而放棄對精確性的追求；
3）人類通過對大數據的處理，放棄對因果關系的渴求，轉而關注相關關系。
事實上，大數據時代帶給人們的思維方式的深刻轉變遠不止上述三個方面。筆者認為，大數據思維最關鍵的轉變在於從自然思維轉向智能思維，使得大數據像具有生命力一樣，獲得類似於「人腦」的智能，甚至智慧。
1、總體思維
社會科學研究社會現象的總體特徵，以往采樣一直是主要數據獲取手段，這是人類在無法獲得總體數據信息條件下的無奈選擇。在大數據時代，人們可以獲得與分析更多的數據，甚至是與之相關的所有數據，而不再依賴於采樣，從而可以帶來更全面的認識，可以更清楚地發現樣本無法揭示的細節信息。
正如舍恩伯格總結道：「我們總是習慣把統計抽樣看作文明得以建立的牢固基石，就如同幾何學定理和萬有引力定律一樣。但是，統計抽樣其實只是為了在技術受限的特定時期，解決當時存在的一些特定問題而產生的，其歷史不足一百年。如今，技術環境已經有了很大的改善。在大數據時代進行抽樣分析就像是在汽車時代騎馬一樣。
在某些特定的情況下，我們依然可以使用樣本分析法，但這不再是我們分析數據的主要方式。」也就是說，在大數據時代，隨著數據收集、存儲、分析技術的突破性發展，我們可以更加方便、快捷、動態地獲得研究對象有關的所有數據，而不再因諸多限制不得不採用樣本研究方法，相應地，思維方式也應該從樣本思維轉向總體思維，從而能夠更加全面、立體、系統地認識總體狀況。
2、容錯思維
在小數據時代，由於收集的樣本信息量比較少，所以必須確保記錄下來的數據盡量結構化、精確化，否則，分析得出的結論在推及總體上就會「南轅北轍」，因此，就必須十分注重精確思維。然而，在大數據時代，得益於大數據技術的突破，大量的非結構化、異構化的數據能夠得到儲存和分析，這一方面提升了我們從數據中獲取知識和洞見的能力，另一方面也對傳統的精確思維造成了挑戰。
舍恩伯格指出，「執迷於精確性是信息缺乏時代和模擬時代的產物。只有5%的數據是結構化且能適用於傳統資料庫的。如果不接受混亂，剩下95%的非結構化數據都無法利用，只有接受不精確性，我們才能打開一扇從未涉足的世界的窗戶」。也就是說，在大數據時代，思維方式要從精確思維轉向容錯思維，當擁有海量即時數據時，絕對的精準不再是追求的主要目標，適當忽略微觀層面上的精確度，容許一定程度的錯誤與混雜，反而可以在宏觀層面擁有更好的知識和洞察力。
3、相關思維
在小數據世界中，人們往往執著於現象背後的因果關系，試圖通過有限樣本數據來剖析其中的內在機理。小數據的另一個缺陷就是有限的樣本數據無法反映出事物之間的普遍性的相關關系。而在大數據時代，人們可以通過大數據技術挖掘出事物之間隱蔽的相關關系，獲得更多的認知與洞見，運用這些認知與洞見就可以幫助我們捕捉現在和預測未來，而建立在相關關系分析基礎上的預測正是大數據的核心議題。
通過關注線性的相關關系，以及復雜的非線性相關關系，可以幫助人們看到很多以前不曾注意的聯系，還可以掌握以前無法理解的復雜技術和社會動態，相關關系甚至可以超越因果關系，成為我們了解這個世界的更好視角。舍恩伯格指出，大數據的出現讓人們放棄了對因果關系的渴求，轉而關注相關關系，人們只需知道「是什麼」，而不用知道「為什麼」。我們不必非得知道事物或現象背後的復雜深層原因，而只需要通過大數據分析獲知「是什麼」就意義非凡，這會給我們提供非常新穎且有價值的觀點、信息和知識。也就是說，在大數據時代，思維方式要從因果思維轉向相關思維，努力顛覆千百年來人類形成的傳統思維模式和固有偏見，才能更好地分享大數據帶來的深刻洞見。
4、智能思維
不斷提高機器的自動化、智能化水平始終是人類社會長期不懈努力的方向。計算機的出現極大地推動了自動控制、人工智慧和機器學習等新技術的發展，「機器人」研發也取得了突飛猛進的成果並開始一定應用。應該說，自進入到信息社會以來，人類社會的自動化、智能化水平已得到明顯提升，但始終面臨瓶頸而無法取得突破性進展，機器的思維方式仍屬於線性、簡單、物理的自然思維，智能水平仍不盡如人意。
但是，大數據時代的到來，可以為提升機器智能帶來契機，因為大數據將有效推進機器思維方式由自然思維轉向智能思維，這才是大數據思維轉變的關鍵所在、核心內容。眾所周知，人腦之所以具有智能、智慧，就在於它能夠對周遭的數據信息進行全面收集、邏輯判斷和歸納總結，獲得有關事物或現象的認識與見解。同樣，在大數據時代，隨著物聯網、雲計算、社會計算、可視技術等的突破發展，大數據系統也能夠自動地搜索所有相關的數據信息，並進而類似「人腦」一樣主動、立體、邏輯地分析數據、做出判斷、提供洞見，那麼，無疑也就具有了類似人類的智能思維能力和預測未來的能力。
「智能、智慧」是大數據時代的顯著特徵，大數據時代的思維方式也要求從自然思維轉向智能思維，不斷提升機器或系統的社會計算能力和智能化水平，從而獲得具有洞察力和新價值的東西，甚至類似於人類的「智慧」。
舍恩伯格指出，「大數據開啟了一個重大的時代轉型。就像望遠鏡讓我們感受宇宙，顯微鏡讓我們能夠觀測到微生物一樣，大數據正在改變我們的生活以及理解世界的方式，成為新發明和新服務的源泉，而更多的改變正蓄勢待發」。
大數據時代將帶來深刻的思維轉變，大數據不僅將改變每個人的日常生活和工作方式，改變商業組織和社會組織的運行方式，而且將從根本上奠定國家和社會治理的基礎數據，徹底改變長期以來國家與社會諸多領域存在的「不可治理」狀況，使得國家和社會治理更加透明、有效和智慧。

⑵ 什麼是大數據，大數據的核心價值是什麼

大數據(BigData)是指「無法用現有的軟體工具提取、存儲、搜索、共享、分析和處理的海量的、復雜的數據集合。」業界通常用4個V(即Volume、Variety、Value、Velocity)來概括大數據的特徵。

• 數據體量巨大(Volume)。截至目前，人類生產的所有印刷材料的數據量是200PB，而歷史上全人類說過的所有的話的數據量大約是5EB(1EB=210PB)。

• 數據類型繁多(Variety)。相對於以往便於存儲的以文本為主的結構化數據，非結構化數據越來越多，包括網路日誌、音頻、視頻、圖片、地理位置信息等，這些多類型的數據對數據的處理能力提出了更高要求。

• 價值密度低(Value)。價值密度的高低與數據總量的大小成反比。如何通過強大的機器演算法更迅速地完成數據的價值「提純」成為目前大數據背景下亟待解決的難題。

• 處理速度快(Velocity)。大數據區分於傳統數據挖掘的最顯著特徵。根據IDC的「數字宇宙」的報告，預計到2020年，全球數據使用量將達到35.2ZB。

-------------------------------------------

社交網路，讓我們越來越多地從數據中觀察到人類社會的復雜行為模式。社交網路，為大數據提供了信息匯集、分析的第一手資料。從龐雜的數據背後挖掘、分析用戶的行為習慣和喜好，找出更符合用戶「口味」的產品和服務，並結合用戶需求有針對性地調整和優化自身，就是大數據的價值。

所以，建立在上述的概念上我們可以看到大數據的產業變化：

1大數據飛輪效應所帶來的產業融合和新產業驅動

2信息獲取方式的完全變化帶來的新式信息聚合

3信息推送方式的完全變化帶來的新式信息推廣

4精準營銷

5第三方支付——小微信貸，線上眾籌為代表的互聯網金融帶來的全面互聯網金融改革

6產業垂直整合趨勢以及隨之帶來的產業生態重構

7企業改革以及企業內部價值鏈重塑，擴大的產業外部邊界

8政府及各級機構開放，透明化，以及隨之帶來的集中管控和內部機制調整

9數據創新帶來的新服務

⑶ 大數據的特點有哪些

根據《大數據時代》大數據的特點主要分為以下四點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）
一、Volume（大量）
大數據的特徵其實是我們現在理解的海量數據。「大數據」在互聯網行業是必備項：互聯網公司在日常運營中生成、累積的用戶網路行為的數據。比如社交電商平台每天的產生訂單， 各個短視頻、論壇、社區發布的帖子、評論及小視頻， 每天發送的電子郵件， 以及上傳的圖片、視頻與音樂，等等， 這些無數個體產生的數據規模很龐大，數據體量早已達到了PB級別以上，大數據的大量就是我們說的海量數據。
二、Velocity（高速）
隨著網路傳輸速率不斷攀升，從傳統的百兆到千兆萬兆網路，移動網路也已經逐步升級到了5G時代，數據的產生和傳輸都越來越高速。所以客戶越來越強調實時反饋，就是無論是在線看電影還是在線直播、刷視頻都要求低延時，對於傳輸、存儲、播放都要求高度，人們和企業都越來越依賴互聯網，網上的實時交易、在線培訓、社交等都與每個人息息相關，雲計算平台大數據平台擔負著高質量的服務功能，運營方還是服務商對於海量數據，誰能提供更快的速度，誰就能獲得更多的用戶和訂單！
三、Variety（多樣）
數據多樣性其種類包括文字、圖片、視頻、語音、地圖定位信息、網路日誌信息等等，正是多樣化的數據形式決定了大數據的更高價值。對於數據挖掘和數據資產越來越受到企業的重視，多類型的數據對數據的存儲和處理能斗做力都提出了更高的要求。目前應用最廣泛的就是智能推薦系統，如今日頭條，網路、抖音等，這些平台都會通過對用戶的行為進行分析，從而智能地推薦用戶喜歡的內容頁面。
四、Value（低價值密度）
隨著物聯網的廣泛應用，往往人們需要從仿銷脊海量的數據中提取相關聯的有用的信息，所以對於大數據的機器學習深度學習演算法可以發揮巨大作用。大數據最大的價值備滲在於通過從大量不相關的各種類型的數據中，挖掘出對未來趨勢與模式預測分析有價值的數據，並通過機器學習方法、人工智慧方法或數據挖掘方法深度分析，發現新規律和新知識。

⑷ 大數據的特徵是什麼

1、容量（）：數據的大小決定所考慮的數據的價值和潛在的信息；

2、種類（Variety）：數據類型的多樣性；

3、速度（Velocity）：指獲得數據的速度；

4、可變性（Variability）：妨礙了處理和有效地管理數據的過程。

5、真實性（Veracity）：數據的質量。

6、復雜性（Complexity）：數據量巨大，來源多渠道。

7、價值（value）：合理運用大數據，以低成本創造高價值。

(4)采樣達到什麼標准算大數據擴展閱讀：

大數據的精髓：

大數據帶給我們的三個顛覆性觀念轉變：是全部數據，而不是隨機采樣；是大體方向，而不是精確制導；是相關關系，而不是因果關系。

A、不是隨機樣本，而是全體數據：在大數據時代，我們可以分析更多的數據，有時候甚至可以處理和某個特別現象相關的所有數據，而不再依賴於隨機采樣(隨機采樣，以前我們通常把這看成是理所應當的限制，但高性能的數字技術讓我們意識到，這其實是一種人為限制)；

B、不是精確性，而是混雜性：研究數據如此之多，以至於我們不再熱衷於追求精確度；

之前需要分析的數據很少，所以我們必須盡可能精確地量化我們的記錄，隨著規模的擴大，對精確度的痴迷將減弱；擁有了大數據，我們不再需要對一個現象刨根問底，只要掌握了大體的發展方向即可，適當忽略微觀層面上的精確度，會讓我們在宏觀層面擁有更好的洞察力；

C、不是因果關系，而是相關關系：我們不再熱衷於找因果關系，尋找因果關系是人類長久以來的習慣，在大數據時代，我們無須再緊盯事物之間的因果關系，而應該尋找事物之間的相關關系;相關關系也許不能准確地告訴我們某件事情為何會發生，但是它會提醒我們這件事情正在發生。

⑸ 《大數據時代》01 什麼是大數據

今天我們第一本解讀的是《大數據時代》這本書。

大數據是這幾年特別火的一個詞，那究竟什麼是大數據呢？

字面意思可以理解為大數據就是數量巨大的數據，而這些巨大的數據再結合雲計算、人工智慧、物聯網等技術會對於我們的生活、工作都會帶來翻天覆地的影響。

芝加哥大學商學院教授、麥肯錫公司創始人，麥肯錫稱：「數據，已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。人們對於海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈餘浪潮的到來。」

而我們今天所講的這本《大數據時代》是國外大數據研究的先河之作，本書作者舍恩伯格被譽為「大數據商業應用第一人」。舍恩伯格在書中前瞻性地指出，大數據帶來的信息風暴正在變革我們的生活、工作和思維，大數據開啟了一次重大的時代轉型，並用三個部分講述了大數據時代的思維變革、商業變革和管理變革。對於身處於大數據時代額我們可謂是會產生異常極大的思維方式的變革。

舍恩伯格最具洞見之處在於，他明確指出，大數據時代最大的轉變就是，放棄對因果關系的渴求，而取而代之關注相關關系。也就是說只要知道「是什麼」，而不需要知道「為什麼」。這就顛覆了千百年來人類的思維慣例，對人類的認知和與世界交流的方式提出了全新的挑戰。

下面我們就進入到《大數據時代》這本書中去吧。

首先來看第一個話題大數據的思維變革

大數據與三個重大的思維變革有關，而這三個轉變是相互作用的。

一.不是隨機樣本，而是全體數據

解釋一下就是分析事物相關的所有數據，而不是僅僅依靠分析少量的數據樣本。

二是不是精確性，而是混雜性

就是要接受數據的紛繁復雜，而不再追求准確性。

三是不是因果關系，而是相關關系

即不再追求難以摸索的因果關系，轉而關注事物的相關關系。

這三個在大數據時代思維變革的轉變我們會在接下來節目中一一講解。

今天我們這一節先講解：不是隨機樣本，而是全體樣本，這一思維的變革。

小數據時代的隨機抽樣

為什麼這么說呢？在我們過去技術並不發達的時候，只能用少量數據來進行隨機采樣是最高效的方式，即利用最少的數據來獲取更多的信息。

在19世紀時美國的人口普查中，因為數據的變化超過了當時的人口普查統計分析能力，有人提出到數據無比龐大時可以進行有目的的選擇，具有選出代表性的樣本是最恰當的方式，這就是隨機抽樣。並且還非常有見解的提出：采樣分析的精確性是隨著采樣隨機性的增加而大幅的提高與樣本的數量增加關系並不大，也就是說，隨機采樣樣本的隨機性比數量的多少更為重要。

而在當時，政府確實也採用了隨機調查的方式來對於經濟和人口進行了200多次小規模的調查，除此之外，在商業領域也會採用隨機調查的方式來抽取部分商品來檢查商品的質量安全。

隨機抽樣取得了巨大的成功，成為了現代社會，現代測量領域的主心骨，但這只是一條捷徑，是不可能收集和分析全部數據情況下的選擇，他本身就有很多的缺陷。

隨機抽樣的缺陷

第一，它的成功依賴於采樣的絕對隨機性，但在實現中絕對的隨機性是非常困難，一旦分析過程中存在任何「偏見」，分析結果就會相去甚遠。

第二，隨機采樣不適宜用於考察此類別的情況，也就是說隨機抽樣，一旦繼續細分錯誤率會大大增加，比如說你想調查大學生玩手機的情況，您採取的調查結果可能會有3%的誤差，但如果又把這個調查結果根據性別地域、收入來進行細分，那結果就會變得更為不準確。

因此當人們想要了解更深層次的細分領域的情況，採用隨機采樣的方法顯然是不可取的，在宏觀領域起作用的方法，在微觀領域上失去了作用，隨機采樣就像是模擬照片，列印再遠看會是非常不錯，但是一旦聚焦在某個點，就會變得模糊不清。

全部數據的采樣方式

現在我們正在步入了大數據時代，我們需要一中新的數據採集模式----全數據模式，即樣本等於總體。

我們這個時代收集數據，並不像過去那樣困難，手機導航、社交網站、微博、微信這些隨時隨地或主動或被動的收集你所產生的信息，並且通過計算機就可以輕而易舉地完成數據處理。

採取全部數據的采樣方式，可以不用考慮隨機抽樣所考慮的隨機性，並且在細分領域也會發揮極大的作用，一個很好的例子，就是日本國民體育運動相撲之中所產生的非法操控比賽結果。

相撲比賽和其他比賽有所不同的就是選手需要在15場比賽之中的大部分場次獲得勝利，才能保持排名和收入。這樣一來就會出現收益不對稱的情況，比如說一個7勝7負的選手，遇到一個8勝6負的選手，比賽結果對於第一個選手會比對第二個選手更為重要。列維特和達根發現在這種情況下，需要贏的那個選手，最可能會贏，這是為什麼呢？有沒有可能是選手的求勝心呢？當然有可能，但並不是完全！有數據顯示需要贏的選手，求勝心，也只能把勝率增加25%。並且對於數據進一步分析發現，選手如果幫助上一次失利的一方的話，當他們再次相遇時，對方會回報回來。

這種情況在相撲界是顯而易見的，但若是隨機抽樣就無法發現這個情況。而大數據通過分析所有比賽，用極大的數據來捕捉到這個情況。

還有關於大數據應用的例子是：2009年，谷歌公司將5000萬條美國最頻繁的檢索詞條和美國疾控中心在2003年至2008年季節性流感傳播實際數據進行比較，成功預測了甲型H1N1流感的出現。

現在2021年，利用大數據來預測新冠肺炎的發展情況，已經成為我們日常新聞報道的一部分了。

在大數據時代的到來，讓我們可以利用技術，從不同角度更細致的觀察和研究數據的方方面面，使我們的調查更為精準。

回顧一下我們這一節所講的過去的調查是採用小部分的數據來進行抽樣調查，這一方法有顯著的缺點

首先是抽樣分析依賴於采樣的隨機性，而一旦數據出現」偏見「，結果便會大相徑庭

第二抽樣分析也只適用於宏觀分析，對於更加微觀的調查結果並不理想。

如今的技術環境已經有了很大的改善,在大數據時代進行抽樣分析就是在汽車時代騎馬一樣，我們要分析與事物相關的而所有數據，而不僅僅是少量的數據。

以上就是我們本期全部內容，下一期我會講到大數據時代下思維變革的後兩個思維變革。

我的節目首發平台是公眾號「悅讀深入思考」關注還有更多內容