『壹』 數據採集|教育大數據的來源、分類及結構模型
一、 教育大數據的來源
教育是一個超復雜的系統,涉及 教學、管理、教研、服務 等諸多業務。與金融系統具有清晰、規范、一致化的業務流程所不同的是,不同地區、不同學校的教育業務雖然具有一定的共性,但差異性也很突出,而業務的差異性直接導致教育數據來源更加多元、數據採集更加復雜。
教育大數據產生於 各種教育實踐活動 ,既包括校園環境下的教學活動、管理活動、科研活動以及校園生活,也包括家庭、社區、博物館、圖書館等非正式環境下的學習活動;既包括線上的教育教學活動,也包括線下的教育教學活動。
教育大數據的核心數據源頭是「人」和「叢擾物」——「人」包括學生、教師、管理者和家長,「物」包括信息系統校園網站、伺服器、多媒體設備等各種教育裝備。
依據來源和范圍的不同,可以將教育大數據分為個體教育大數據、課程教育大數據、班級教育大數據、學校教育大數據、區域教育大數據、國家教育大數據等六種 。
二、 教育大數據的分類
教育數據有多重分類方式。
從數據產生的業務來源來看,包括 教學類數據、管理類數據、科研類數據 以及服務類數據。
從數據產生的技術場景來看冊鄭念,包括 感知數據 、業務數據和互聯網數據等類型。
從數據結構化程度來看,包括 結構化數據、半結構化數據和非結構化數據 。結構化數據適合用二維表存儲。
從數據產生的環節來看,包括 過程性數據和結果性數據州困 。過程性數據是活動過程中採集到的、難以量化的數據(如課堂互動、在線作業、網路搜索等);結果性數據則常表現為某種可量化的結果(如成績、等級、數量等)。
國家採集的數據主要以管理類、結構化和結果性的數據為主,重點關注宏觀層面教育發展整體狀況。到大數據時代,教育數據的全面採集和深度挖掘分析變得越來越重要。教育數據採集的重心將向非結構化、過程性的數據轉變。
三、教育數據的結構模型
整體來說,教育大數據可以分為四層,由內到外分別是基礎層、狀態層、資源層和行為層。
基礎層:也就是我們國家最最基礎的數據,是高度保密的數據; 包括教育部2012年發布的七個教育管理信息系列標准中提到的所有數據,如學校管理信息、行政管理信息和教育統計信息等;
狀態層,各種裝備、環境與業務的運行狀態的數據; 必然設備的耗能、故障、運行時間、校園空氣質量、教室光照和教學進度等;
資源層,最上層是關於教育領域的用戶行為數據。 比如PPT課件、微課、教學視頻、圖片、游戲、教學軟體、帖子、問題和試題試卷等;
行為層:存儲擴大教育相關用戶(教師、學生、教研員和教育管理者等)的行為數據, 比如學生的學習行為數據、教師的教學行為數據、教研員的教學指導行為數據以及管理員的系統維護行為數據等。
不同層次的數據應該有不同的採集方式和教育數據應用的場景。
關於教育大數據的冰山模型,目前我們更多的是採集一些顯性化的、結構性的數據,而存在冰山之下的是更多的非結構化的,而且真正為教育產生最大價值的數據是在冰山之下的。
參考文獻:
教育大數據的來源與採集技術 邢蓓蓓
『貳』 大數據的主要數據來源包括
大數據的來源包括交易數據、人工數據、機器和感測器數據。 交易數據包括POS機數據、信用卡數據等。人為數據,包括通過微信、博客、推文等產生的郵件、文檔、圖片、數據流等。;以及機器感測器數據,例如感測器、儀表和其他設施。 大數據,或稱巨量數據,是指龐大到無法通過主流軟體工具在合理的時間內檢索、管理、處理和排序的信息,以幫助企業做出更主動的商業決策。大數據需要特殊的技術來有效處理大量可以容忍時間流逝的數據。適用於大數據的技術,包括大規模並行處理(MPP)資料庫、數據挖掘、分布式文件系統、分布式資料庫、雲計算平台、互聯網和可擴展存儲系統。
『叄』 大數據的來源有哪三個
品牌型號:華為MateBook D15
大數據的來源有交易數據、人為數據、機器和感測器數據。
交易數據包括POS機數據、信用卡刷卡數據等;人為數據,包括電子郵件、文檔、圖片以及通過微信、博客、推特等產生的數據流;機器和感測器數據,如感應器、量表和其它設施的數據。
大數據(big data),或稱巨量資料,指的是所涉及的資料量規模巨大到無法透過主流軟體工具,在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。大數據需要特殊的技術,以有效地處理大量的容忍經過時間內的數據。適用於大數據的技術,包括大規模並行處理(MPP)資料庫、數據挖掘、分布式文件系統、分布式資料庫、雲計算平台、互聯網和可擴展的存儲系統。
『肆』 大數據主要來源於什麼
來源:從技術上看,大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理,必須採用分布式架構。它的特色在於對海量數據進行分布式數據挖掘。但它必須依託雲計算的分布式處理、分布式資料庫和雲存儲、虛擬化技術。
大數據需要特殊的技術,以有效地處理大量的容忍經過時間內的數據。適用於大數據的技術,包括大規模並行處理(MPP)資料庫、數據挖掘、分布式文件系統、分布式資料庫、雲計算平台、互聯網和可擴展的存儲系統。
大數據」是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。
(4)圖書館大數據來源擴展閱讀:
大數據離不開雲處理,雲處理為大數據提供了彈性可拓展的基礎設備,是產生大數據的平台之一。自2013年開始,大數據技術已開始和雲計算技術緊密結合,預計未來兩者關系將更為密切。除此之外,物聯網、移動互聯網等新興計算形態,也將一齊助力大數據革命,讓大數據營銷發揮出更大的影響力。
想要系統的認知大數據,必須要全面而細致的分解它,著手從三個層面來展開:
第一層面是理論,理論是認知的必經途徑,也是被廣泛認同和傳播的基線。在這里從大數據的特徵定義理解行業對大數據的整體描繪和定性;從對大數據價值的探討來深入解析大數據的珍貴所在;洞悉大數據的發展趨勢;從大數據隱私這個特別而重要的視角審視人和數據之間的長久博弈。
第二層面是技術,技術是大數據價值體現的手段和前進的基石。在這里分別從雲計算、分布式處理技術、存儲技術和感知技術的發展來說明大數據從採集、處理、存儲到形成結果的整個過程。
第三層面是實踐,實踐是大數據的最終價值體現。在這里分別從互聯網的大數據,政府的大數據,企業的大數據和個人的大數據四個方面來描繪大數據已經展現的美好景象及即將實現的藍圖。