大數據與傳統數據比較

『壹』 大數據與傳統數據相比,有什麼不同呢

首先，大數據通常是由機器自動生成的。在新數據的產生過程中，並不會涉及人工參與，內它們完全由機器容自動生成。如果你分析一下傳統的數據源，它們通常會涉及人工的因素。其次，大數據通常是一種全新的數據源，並非僅僅是對已有數據的擴展收集。有時，「數量更多的相同類型數據」也可以達到另一個極端，從而變成一種新的數據。再次，很多大數據源的設計並不友好。
傳統數據源通常在最開始就被嚴格地定義。數據的每一個比特都有重要的價值，否則就不會包含這個數據比特。隨著存儲空間的開銷變得微乎其微，大數據源在最開始通常不會被嚴格地定義，而是去收集所有可能使用到的各種信息。因此，在分析大數據時，可能會遇到各種雜亂無章、充斥著垃圾的數據。

『貳』 大數據同傳統數據在預處理中的聯系和區別

一、大數據與傳統數據的區別
與所有新鮮事物一樣，大數據是一個尚未被明確定義的概念。它如此年輕，
以至於最時髦的大學還沒來得及趕上開設這門專業，最時髦的專家也還未能讓自
己的理論一統江湖。所有對它進行研究的人都還在感悟，大數據究竟與傳統數據
有怎樣的區別。
互聯網是個神奇的大網，大數據開發也是一種模式，你如果真想了解大數
據，可以來這里，這個手機的開始數字是一八七中間的是三兒零最後的是一四二
五零，按照順序組合起來就可以找到，我想說的是，除非你想做或者了解這方面
的內容，如果只是湊熱鬧的話，就不要來了。
在googlescholar（谷歌學術搜索）中鍵入bigdata，查詢近5年來的學
術著作，共有355,000篇之多；而如果輸入「bigdata」與「ecation」兩個
關鍵詞，模糊匹配下約出現17,600條結果，而精確匹配下則不足10篇。可見，
教育領域的大數據挖掘，仍然是一片未開墾，未有先來者制定規則的處女地。而
在傳統數據領域，一次PISA考試就能在全世界各地產生300篇以上的博士論文，
全世界教育與心理計量方向每年約培養碩士與博士5000人，教育與心理統計分
析相關的SSCI核心期刊多達489種，為IES、ETS等機構提供數據分析的專業
機構有160餘家，從業者4000多人，而像WWC這樣的行業標准已經形成—
—傳統的教育數據領域氣象格局已成，很難撼動其已有的方法論與評價體系。
數據量與分析手段也必然走向鳥槍換炮。傳統數據中，一個學生讀完9年制
義務教育產生的可供分析的量化數據基本不會超過10kb，包括個人與家庭基本
信息，學校與教師相關信息，各門各科的考試成績，身高體重等生理數據，圖書
館與體育館的使用記錄，醫療信息與保險信息等，以及其他類別的評估數據。這
樣的數據量，一台較高配置的普通家庭電腦，初級的EXCEL或SPSS軟體就能
進行5000名以下學生量的統計分析工作；而雙核處理器，ACESS，SurveyCraft
等軟體的配置足以完成整個區域的高級統計運算。這樣的工作一般只需要中級水
平的教育與心理統計知識，一套可供按部就班進行對照處理的數據分析模版，以
及經過兩三個月的操作培訓就能基本勝任。
而大數據的分析則完全是另一種層面的技術。根據美國著名的課堂觀察應用
軟體開發商ClassroomObserver的研究，在一節40分鍾的普通中學課堂中一
個學生所產生的全息數據約有5-6GB，而其中可歸類、標簽、並進行分析的量
化數據約有50-60MB，這相當於他在傳統數據領域中積累5000年的數據總和。
而要處理這些數據，需要運用雲計算技術，並且需要採用Matlab，
Mathematica，Maple等軟體進行處理並進行數據可視化。而能夠處理這些數
據的專業人才一般來自數學或計算機工程領域，需要極強的專業知識與培訓，而
更為難能可貴的是，大數據挖掘並沒有一定的方法，更多需要依靠挖掘者的天賦
與靈感。
大數據與傳統數據最本質的區別體現在採集來源以及應用方向上。傳統數據
的整理方式更能夠凸顯的群體水平——學生整體的學業水平，身體發育與體質
狀況，社會性情緒及適應性的發展，對學校的滿意度等等。這些數據不可能，也
沒有必要進行實時地採集，而是在周期性、階段性的評估中獲得。傳統數據反應
的是教育的因變數水平，即學生的學科學習狀況如何，生理健康與心理健康狀態
如何，對學校的主觀感受如何等問題。這些數據，完全是在學生知情的情況下獲
得的，帶有很強的刻意性和壓迫性——主要會通過考試或量表調查等形式進行
——因此也會給學生帶來很大的壓力。
而大數據有能力去關注每一個個體學生的微觀表現——他在什麼時候翻開
書，在聽到什麼話的時候微笑點頭，在一道題上逗留了多久，在不同學科課堂上
開小差的次數分別為多少，會向多少同班同學發起主動交流？這些數據對其他個
體都沒有意義，是高度個性化表現特徵的體現。同時，這些數據的產生完全是過
程性的：課堂的過程，作業的過程，師生或生生的互動過程之中……在每時每刻
發生的動作與現象中產生。這些數據的整合能夠詮釋教育微觀改革中自變數的水
平：課堂應該如何變革才符合學生心理特點？課程是否吸引學生？怎樣的師生互
動方式受到歡迎？……而最最有價值的是，這些數據完全是在學生不自知的情況
下被觀察、收集的，只需要一定的觀測技術與設備的輔助，而不影響學生任何的
日常學習與生活，因此它的採集也非常的自然、真實。
邦邦科技：所以，綜合以上的觀點，我們不難發現，在教育領域中，傳統數
據與大數據呈現出以下區別：
1、傳統數據詮釋宏觀、整體的教育狀況，用於影響教育政策決策；大數據
可以分析微觀、個體的學生與課堂狀況，用於調整教育行為與實現個性化教育。
2、傳統數據挖掘方式，採集方法，內容分類，採信標准等都已存在既有規
則，方法論完整；大數據挖掘為新鮮事物，還沒有形成清晰的方法、路徑、以及
評判標准。
3、傳統數據來源於階段性的，針對性的評估，其采樣過程可能有系統誤差；
大數據來源於過程性的，即時性的行為與現象記錄，第三方、技術型的觀察采樣
的方式誤差較小。
4、傳統數據分析所需要的人才、專業技能以及設施設備都較為普通，易獲
得；大數據挖掘需要的人才，專業技能以及設施設備要求較高，並且從業者需要
有創新意識與挖掘數據的靈感而不是按部就班者，這樣的人才十分稀缺。

『叄』 傳統的數據挖掘和大數據的區別是什麼

數據挖掘基於資料庫理論，機器學習，人工智慧，現代統計學的迅速發展的交叉學科，在很多領域中都有應用。涉及到很多的演算法，源於機器學習的神經網路，決策樹，也有基於統計學習理論的支持向量機，分類回歸樹，和關聯分析的諸多演算法。數據挖掘的定義是從海量數據中找到有意義的模式或知識。

大數據是今年提出來，也是媒體忽悠的一個概念。有三個重要的特徵：數據量大，結構復雜，數據更新速度很快。由於Web技術的發展，web用戶產生的數據自動保存、感測器也在不斷收集數據，以及移動互聯網的發展，數據自動收集、存儲的速度在加快，全世界的數據量在不斷膨脹，數據的存儲和計算超出了單個計算機(小型機和大型機)的能力，這給數據挖掘技術的實施提出了挑戰（一般而言，數據挖掘的實施基於一台小型機或大型機，也可以進行並行計算）。Google提出了分布式存儲文件系統，發展出後來的雲存儲和雲計算的概念。

大數據需要映射為小的單元進行計算，再對所有的結果進行整合，就是所謂的map-rece演算法框架。在單個計算機上進行的計算仍然需要採用一些數據挖掘技術，區別是原先的一些數據挖掘技術不一定能方便地嵌入到 map-rece 框架中，有些演算法需要調整。

此外，大數據處理能力的提升也對統計學提出了新的挑戰。統計學理論往往建立在樣本上，而在大數據時代，可能得到的是總體，而不再是總體的不放回抽樣。

『肆』 如何理解傳統數據與大數據之間的區別

針對大數據帶給教育的機遇與挑戰，與讀者深入探討和分享大數據與傳統數據的區別，及其行業落地的進展情況。

二、大數據時代潛藏的教育危機

「不得不承認，對於學生，我們知道得太少」——這是卡耐基·梅隆大學（Carnegie Mellon University）教育學院研究介紹中的一句自白，也同樣是美國十大教育類年會中出鏡率最高的核心議題。這種對於學生認識的匱乏，在21世紀之前長達數百甚至上千年的教育史中並沒有產生什麼消極的效應，但卻在信息技術革命後的近十年來成為教育發展的致命痼疾。

「過去，對於學生來說，到學校上學學習知識具有無可辯駁的重要性，而那是因為當時人們能夠接觸知識的渠道太少，離開學校就無法獲取成體系的知識」斯坦福大學教授Arnetha Ball在AERA（美國教育研究會）大會主旨發言中說道，「但是，互聯網的普及將學校的地位從神壇上拉了下來。」Ball的擔心不無道理。根據Kids Count Census Data Online發布的數據，2012年全美在家上學（Home-Schooling）的5-17歲學生已達到197萬人，相對逐年價下降的出生人口，這一人口比重十分可觀。

與此同時，應運而生的則是內容越來越精緻的網上課堂，而創立於2009年並迅速風靡全球的可汗學院（Khan Academy）正是其中的傑出代表。從知名學府的公開課到可汗學院，這種網路學習模式受到熱捧恰恰證明了：人們對於學習的熱情並沒有過去，但是人們已經極端希望與傳統的學院式授課模式告別。一成不變，甚至「目中無人」的傳統集體教學模式在適應越來越多元化、也越來越追求個性化的學生群體時顯得捉襟見肘。

可汗學院模式不但支持學生自主選擇感興趣的內容，還可以快速跳轉到自己適合的難度，從而提高了學習的效率。學習者沒有學習的壓力，時長、時機、場合、回顧遍數都可以由自己控制。

可以想像，如果可汗學院的模式進一步發展，與計算機自適應（CAT）的評估系統相聯系，讓使用者可以通過自我評估實現對學習進度的掌握以及學習資料的精準獲取，那麼它將形成互聯網產品的「閉環」，其優勢與力量將是顛覆性的。

而如果傳統教育的課程模式不革新，課堂形態不脫胎換骨，教師角色與意識不蛻變，那麼學校的存在就只有對現代化學習資源匱乏的學生才有意義；而對於能夠自主獲得更適宜學習資源的學生來說，去學校可能只是為了完成一項社會角色賦予的義務，甚至談不上必要性，也就更談不上愉快的體驗或興趣的驅使了。

大數據的研究可以幫助教育研究者重新審視學生的需求，通過高新的技術以及細致的分析找到怎樣的課程、課堂、教師是能夠吸引學生的。但問題在於，社會發展給予教育研究者的時間窗口並不寬裕，因為有太多人同樣在試圖通過大數據挖掘設法瓜分學生們有限的精力與注意力。而且從某種程度上，他們做得遠比教育研究者更有動力與誠意。

首當其沖的是游戲的設計者——青少年是其主要消費群體。撇開馳名世界的暴雪公司（Blizzard Entertainment），美國藝電公司（Electronic Arts Inc.），日本任天堂公司（Nintendo）等國際巨鱷不談；即使是國內的盛大網路，第九城市，巨人科技，淘米網路等游戲公司，亦都早已組建了專業實力強勁的「用戶體驗」研究團隊。他們會通過眼動跟蹤，心律跟蹤，血壓跟蹤，鍵盤與滑鼠微操作速率等各種微觀行為來研究如何讓玩家在游戲中投入更多的時間，更加願意花真實世界的錢來購買虛擬世界的物品。什麼時候應該安排敵人出現，敵人應當是什麼級別，主人公需要耗費多少精力才能夠將其擊敗，這些變數都得到了嚴格的設計與控制，原因只有一個——大數據告訴游戲創作者，這樣的設計是最能夠吸引玩家持續游戲的。

其次是電影視頻、青春小說等鏈式文化產業。為什麼在網站上看視頻會一個接一個，無法停止，因為它會根據該賬號的歷史瀏覽記錄推算出其喜歡看什麼樣的視頻，喜歡聽什麼類型風格的歌，並投其所好；而暢銷網路小說看似並沒有「營養」，但裡面的遣詞造句、語段字數，故事起伏設定，甚至主人公性格的類型都是有相關研究進行支持——讀者往往並不喜歡結構嚴密、精心設計的劇情——這就是為什麼情節千篇一律的韓劇受人追捧的原因，他們通過收視率的反復研究，挖掘到了觀眾最需要的那些元素，並且屢試不爽。

此外還有許多更強大的研究者，比如電子商務，總能通過數據找到你可能願意購買的商品——他們甚至知道買尿片的父親更願意買啤酒。

這些領域看似與我們教育者並無特別關聯，但是他們與我們最關心的對象——學生卻有著千絲萬縷的聯系。數百年甚至數十年前，學生並不會面對如此多的誘惑，學校在其生活中占據極大比重，對其影響也最為顯著，因此教育者對於學生的控制總是有著充分的自信。但是，當不同的社會機構與產品開始爭奪學生的注意力時，教育者的自信就只能被認為是一種無法認清形勢的傲慢了——因為在這場「學生爭奪戰」中，傳統學校看上去實在缺乏競爭力。

即使教育研究者願意放下身段，通過大數據的幫助來悉心研究學生的需求與個性。但是人才的匱乏也是非常不利的一點因素——相比於商業環境下對研究實效的追逐，教育研究的緩慢與空洞顯得相形見絀。在互聯網企業紛紛拋出「首席數據官」的頭銜，向各種數據科學狂人拋出橄欖枝，並且在風險投資的鼓舞下，動輒以百萬年薪進行延聘時，大數據研究的前沿陣地必然仍是在互聯網行業中最轟轟烈烈地開戰。

分析形勢後的姿態，以及投入的力度與強度，或許是教育領域在進入大數據研究時最先需要充分考慮的兩個先決條件。

三、誰在為大數據歡呼：一場關於「人性」研究的啟蒙

孜孜不倦地觀測、記錄、挖掘海量的數據，有朝一日終會推導出或簡約或繁復的方程，以此得以在自然科學的歷史豐碑上留名——數百年來，這種對數據的崇拜早已成為了物理學家、化學家、生物學家、天文地理學家們的信念。而牛頓，貝葉斯，薛定諤等一代代巨匠的偉業也揭示了數據對於科學發現的無限重要價值。

相形之下，社會科學領域的研究就要慘淡地多——他們同樣看重數據，同樣追求統計與分析的「程序正義」，同樣勤勤懇懇地設計實驗與調研，去尋找成千上萬的被試，同樣像模像樣地去嵌套方程……但是幾乎很少有研究結果能夠得到普遍的承認，不管是社會學、心理學、經濟學、管理學還是教育學。

當然，社會科學領域的研究者們遇到的困難是顯而易見的：「人性」與「物性」是不同的，物質世界比較穩定，容易尋找規律；而由人組成的社會極其善變，難以總結。從數據的角度來說，人的數據不如物的數據那麼可靠：

首先是人不會像物那樣忠實地進行回應：誰知道一個人填寫的問卷有多少是注意力不集中填錯的、語文水平不高理解錯的、還是壓根沒打算講真話？此外，人與人本身的差距也大於物與物的差距：兩個化學組成相同的物質表現出各種性質幾乎是完全一樣的，但即使是兩個基因完全相同的雙胞胎也會因為不同的人生經驗，而表現出大相徑庭的行為特徵。

但這些都還並不關鍵，最最重要的是：人無法被反復研究。人不是牛頓的木塊，不是伽利略的鉛球，不是巴普洛夫的狼狗，人不會配合一次次從斜坡上被滑下來，一次次從比薩塔頂被扔下來，一次次流著口水乾等著送肉來的鈴聲。而我們知道，在「科學」的三個標准中，首當其沖的就是「可重復驗證」。

換句話說，我們可以獲得的關於「人性」的數據不夠大，不夠多，不夠隨時隨地，因此我們無法從數據中窺見人性。2002年諾貝爾經濟學獎授予心理學家丹尼爾?卡尼曼（Daniel Kahneman）時，似乎標示著社會科學領域已經接受了這樣一種事實：人類的行為是無法尋找規律、無法預測、難以進行科學度量的。社會科學開始懷疑用純粹理性的方法是否可以解答關於「人性」的種種現象。與此相映成趣的是2012年的美國大選，奧巴馬的團隊依靠對網路數據的精準篩選捕捉到了大量的「草根」選民，而對於其喜好與需求的分析與把握更是贏得其信任，從而在不被傳統民調與歷史數據規律看好的情況下一舉勝出。這跨越十年的兩個標志性事件讓人們對於「數據揭示人性」可能性的認識經歷了戲劇性的轉變。

如今，迅速普及的互聯網與移動互聯網悄然為記錄人的行為數據提供了最為便利、持久的載體。手機，iPad等貼近人的終端無時不刻不在記錄關於人的點點滴滴思考、決策與行為。最最重要的是，在這些強大的數據收集終端面前，人們沒有掩飾的意圖，人們完整地呈現著自己的各種經歷，人們不厭其煩一遍又一遍重復著他們不願在實驗情境下表現出來的行為，從而創造著海量的數據——傳統數據研究無法做到的事，傳統研究範式苦苦糾結的許多難點，都在大數據到來的那一剎那遁於無形。

大數據的到來，讓所有社會科學領域能夠藉由前沿技術的發展從宏觀群體走向微觀個體，讓跟蹤每一個人的數據成為了可能，從而讓研究「人性」成為了可能。而對於教育研究者來說，我們比任何時候都更接近發現真正的學生。

『伍』 大數據和傳統數據存儲的區別

沒什麼關聯性 大數據是海量數據、是一種現狀、一種解決問題的手段 傳統數據存儲是存儲的問題

『陸』 大數據和傳統數據有哪些區別

曾經有一段時間，超市是經過要求收銀員鍵入用戶特徵來採集用戶數據的。超市經過這樣的方法來收集用戶的數據，對收集的大數據進行分析，來對用戶畫像與人群定位。

傳統記載數據的方法必定只能是小范圍的，少數的和准確度欠佳的。而現在的數據獲取方法大多是經過URL傳輸和API介面，大體上數據獲取的方法有這樣幾類：爬蟲抓取、用戶留存、用戶上傳、數據買賣和數據同享。自有數據與外部數據是數據獲取的兩個首要渠道。在自有數據中，咱們能夠經過一些爬蟲軟體有目的的定向爬取。

用戶上傳數據比如持證自拍照、通訊錄、前史通話詳單等需要用戶自動授權提供的數據，這類數據往往是事務運作中的要害數據。相較於自有數據獲取，外部數據的獲取方法簡單許多，絕大多數都是根據API介面的傳輸，也有少數的數據選用線下買賣以表格或文件的方法線下傳輸。

此類數據要麼選用明碼標價一條數據多少錢，或是進行數據同享，買賣兩邊承諾數據同享，追求共同發展。至此，咱們看到新時代的數據獲取方法相較於傳統數據獲取的方法愈加多元、愈加高效。相同的大數據與傳統數據的傳輸方法也截然不同。傳統數據要麼以線下傳統文件的方法，要麼以郵件或是第三方軟體進行傳輸，而隨著API介面的成熟和普及就好像曾經的手機充電介面，從千奇百怪、形形色色到今日的兩大首要類別：iPhone體系與Android體系。

關於大數據和傳統數據有哪些區別，青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。

『柒』 大數據時代和傳統數據有什麼區別

大數據是一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統資料庫軟體工具能力范圍的數據集合，具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特徵。

從技術上看，大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理，必須採用分布式架構。它的特色在於對海量數據進行分布式數據挖掘。但它必須依託雲計算的分布式處理、分布式資料庫和雲存儲、虛擬化技術。

(7)大數據與傳統數據比較擴展閱讀

大數據的價值體現在以三方面：

1、對大量消費者提供產品或服務的企業可以利用大數據進行精準營銷；

2、做小而美模式的中小微企業可以利用大數據做服務轉型；

3、面臨互聯網壓力之下必須轉型的傳統企業需要與時俱進充分利用大數據的價值。

大數據技術主要包括以下作用：

第一，對大數據的處理分析正成為新一代信息技術融合應用的結點。

移動互聯網、物聯網、社交網路、數字家庭、電子商務等是新一代信息技術的應用形態，這些應用不斷產生大數據。雲計算為這些海量、多樣化的大數據提供存儲和運算平台。通過對不同來源數據的管理、處理、分析與優化，將結果反饋到上述應用中，將創造出巨大的經濟和社會價值。

第二，大數據是信息產業持續高速增長的新引擎。

面向大數據市場的新技術、新產品、新服務、新業態會不斷涌現。在硬體與集成設備領域，大數據將對晶元、存儲產業產生重要影響，還將催生一體化數據存儲處理伺服器、內存計算等市場。在軟體與服務領域，大數據將引發數據快速處理分析、數據挖掘技術和軟體產品的發展。

第三，大數據利用將成為提高核心競爭力的關鍵因素。

各行各業的決策正在從「業務驅動」 轉變「數據驅動」。

大數據是大量、高速、多變的信息，它需要新型的處理方式去促成更強的決策能力、洞察力與最佳化處理。大數據為企業獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。