❶ 數據採集|教育大數據的來源、分類及結構模型
一、 教育大數據的來源
教育是一個超復雜的系統,涉及 教學、管理、教研、服務 等諸多業務。與金融系統具有清晰、規范、一致化的業務流程所不同的是,不同地區、不同學校的教育業務雖然具有一定的共性,但差異性也很突出,而業務的差異性直接導致教育數據來源更加多元、數據採集更加復雜。
教育大數據產生於 各種教育實踐活動 ,既包括校園環境下的教學活動、管理活動、科研活動以及校園生活,也包括家庭、社區、博物館、圖書館等非正式環境下的學習活動;既包括線上的教育教學活動,也包括線下的教育教學活動。
教育大數據的核心數據源頭是「人」和「叢擾物」——「人」包括學生、教師、管理者和家長,「物」包括信息系統校園網站、伺服器、多媒體設備等各種教育裝備。
依據來源和范圍的不同,可以將教育大數據分為個體教育大數據、課程教育大數據、班級教育大數據、學校教育大數據、區域教育大數據、國家教育大數據等六種 。
二、 教育大數據的分類
教育數據有多重分類方式。
從數據產生的業務來源來看,包括 教學類數據、管理類數據、科研類數據 以及服務類數據。
從數據產生的技術場景來看冊鄭念,包括 感知數據 、業務數據和互聯網數據等類型。
從數據結構化程度來看,包括 結構化數據、半結構化數據和非結構化數據 。結構化數據適合用二維表存儲。
從數據產生的環節來看,包括 過程性數據和結果性數據州困 。過程性數據是活動過程中採集到的、難以量化的數據(如課堂互動、在線作業、網路搜索等);結果性數據則常表現為某種可量化的結果(如成績、等級、數量等)。
國家採集的數據主要以管理類、結構化和結果性的數據為主,重點關注宏觀層面教育發展整體狀況。到大數據時代,教育數據的全面採集和深度挖掘分析變得越來越重要。教育數據採集的重心將向非結構化、過程性的數據轉變。
三、教育數據的結構模型
整體來說,教育大數據可以分為四層,由內到外分別是基礎層、狀態層、資源層和行為層。
基礎層:也就是我們國家最最基礎的數據,是高度保密的數據; 包括教育部2012年發布的七個教育管理信息系列標准中提到的所有數據,如學校管理信息、行政管理信息和教育統計信息等;
狀態層,各種裝備、環境與業務的運行狀態的數據; 必然設備的耗能、故障、運行時間、校園空氣質量、教室光照和教學進度等;
資源層,最上層是關於教育領域的用戶行為數據。 比如PPT課件、微課、教學視頻、圖片、游戲、教學軟體、帖子、問題和試題試卷等;
行為層:存儲擴大教育相關用戶(教師、學生、教研員和教育管理者等)的行為數據, 比如學生的學習行為數據、教師的教學行為數據、教研員的教學指導行為數據以及管理員的系統維護行為數據等。
不同層次的數據應該有不同的採集方式和教育數據應用的場景。
關於教育大數據的冰山模型,目前我們更多的是採集一些顯性化的、結構性的數據,而存在冰山之下的是更多的非結構化的,而且真正為教育產生最大價值的數據是在冰山之下的。
參考文獻:
教育大數據的來源與採集技術 邢蓓蓓
❷ 如何對大數據來源分類
從大數據的來源來看。
主要分為以下幾個大類:
一、國家資料庫。
二、企業數據。
三、機器設備數據。
四、個人數據。
方法/步驟
一、國家資料庫
包含公開的和保密的兩個方面。
公開的如GDP、CPI、固定資產投資等宏觀經濟數據,包括歷年統計年鑒或人口普查的數據,以及地理信息數據、金融數據、房地產數據、醫療統計數據等等。
❸ 大數據技術有哪幾類
大數據技術有Java基礎、JavaEE核心、Hadoop生態體系、Spark生態體系四大類。
❹ 大數據怎麼分類
大數據的類型大致可分為三類:傳統企業數據、機器和感測器數據、社交數據。
1、傳統企業數據(Traditional enterprise data):包括 CRM systems的消費者數據,傳統的ERP數據,庫存數據以及賬目數據等。
2、機器和感測器數據(Machine-generated / sensor data):包括呼叫記錄(Call Detail Records),智能儀表,工業設備感測器,設備日誌(通常是Digital exhaust),交易數據等。
3、社交數據(Social data):包括用戶行為記錄,反饋數據等。如Twitter,Facebook這樣的社交媒體平台。
(4)大數據來源於哪四大類擴展閱讀:
大數據挖掘商業價值的方法主要分為四種:
1、客戶群體細分,然後為每個群體量定製特別的服務。
2、模擬現實環境,發掘新的需求同時提高投資的回報率。
3、加強部門聯系,提高整條管理鏈條和產業鏈條的效率。
4、降低服務成本,發現隱藏線索進行產品和服務的創新。
❺ 大數據的主要數據來源包括
大數據的來源包括交易數據、人工數據、機器和感測器數據。 交易數據包括POS機數據、信用卡數據等。人為數據,包括通過微信、博客、推文等產生的郵件、文檔、圖片、數據流等。;以及機器感測器數據,例如感測器、儀表和其他設施。 大數據,或稱巨量數據,是指龐大到無法通過主流軟體工具在合理的時間內檢索、管理、處理和排序的信息,以幫助企業做出更主動的商業決策。大數據需要特殊的技術來有效處理大量可以容忍時間流逝的數據。適用於大數據的技術,包括大規模並行處理(MPP)資料庫、數據挖掘、分布式文件系統、分布式資料庫、雲計算平台、互聯網和可擴展存儲系統。
❻ 在產業鏈條中,大數據通常分為哪幾類
分為四大類:
1、科研大數據
2、 互聯網大數據
3、企業大數據
4、感知大數據
❼ 大數據的三大主要來源
1、開源數據
開源數據包括了互聯網數據、移動數據網數據,互聯網平台和移動互回聯網平台通過采、編答、發或者通過用戶互動產生的數據,公之於眾,供網民或用戶訪問、瀏覽。
2、業務數據
業務數據產生於各單位的信息化系統中,尤其是內部的信息化系統,我們統稱為業務系統。在目前的單位業務系統中,存在於單位的OA系統或者CRM之中,其中蘊含了大量的工作數據和交易數據,以及客戶管理數據,包括交易數據、流水數據、記帳數據、借款數據、貸款數據等業務數據,這些數據構建了每天的系統日誌,同時又是帳戶余額、信用額度、購買能力等的有力補充,這些數據不僅對生產系統起到計費支撐作用,同時也是用戶(銀行客戶、電力客戶、擔保公司等)進行相關決策的重要基礎,所以目前很多單位需要對這些數據進行查詢統計和分析。
3、線路數據
無論是互聯網還是各種內網,任何的網路行為都需要經過「線路」進行鏈接和交互,而在這條線路上,要經過無數的路由交換得以完成,這條線路在完成鏈接的同時,也記錄與存貯了大量的數據,我們統稱為線路數據。
❽ 大數據來源的幾種類型
1.數據收集:在大數據的生命周期中,數據收集處於第一階段。根據MapRece數據應用系統...
2.數據訪問:大數據通過不同的技術路線存儲和保存,大致可分為三類。第一類主要處理大規模結構化...
3.基礎設施:雲存儲、分布式文件存儲等。
4.數據處理:不同的數據集可能有不同的結構和模式,如文件、XML樹、關系表等。這顯示了數據的異質性。多個異構數據集需要進一步集成或...
5.統計分析:假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關...
❾ 大數據的類型
大數據要分析的數據類型主要有四大類:
1.交易數據(TRANSACTION DATA)
大數據平台能夠獲取時間跨度更大、更海量的結構化交易數據,這樣就可以對更廣泛的交易數據類型進行分析,不僅僅包括POS或電子商務購物數據,還包括行為交易數據,例如Web伺服器記錄的互聯網點擊流數據日誌。
2.人為數據(HUMAN-GENERATED DATA)
非結構數據廣泛存在於電子郵件、文檔、圖片、音頻、視頻,以及通過博客、維基,尤其是社交媒體產生的數據流。這些數據為使用文本分析功能進行分析提供了豐富的數據源泉。
3.移動數據(MOBILE DATA)
能夠上網的智能手機和平板越來越普遍。這些移動設備上的App都能夠追蹤和溝通無數事件,從App內的交易數據(如搜索產品的記錄事件)到個人信息資料或狀態報告事件(如地點變更即報告一個新的地理編碼)。
4.機器和感測器數據(MACHINE AND SENSOR DATA)