❶ 数据采集|教育大数据的来源、分类及结构模型
一、 教育大数据的来源
教育是一个超复杂的系统,涉及 教学、管理、教研、服务 等诸多业务。与金融系统具有清晰、规范、一致化的业务流程所不同的是,不同地区、不同学校的教育业务虽然具有一定的共性,但差异性也很突出,而业务的差异性直接导致教育数据来源更加多元、数据采集更加复杂。
教育大数据产生于 各种教育实践活动 ,既包括校园环境下的教学活动、管理活动、科研活动以及校园生活,也包括家庭、社区、博物馆、图书馆等非正式环境下的学习活动;既包括线上的教育教学活动,也包括线下的教育教学活动。
教育大数据的核心数据源头是“人”和“丛扰物”——“人”包括学生、教师、管理者和家长,“物”包括信息系统校园网站、服务器、多媒体设备等各种教育装备。
依据来源和范围的不同,可以将教育大数据分为个体教育大数据、课程教育大数据、班级教育大数据、学校教育大数据、区域教育大数据、国家教育大数据等六种 。
二、 教育大数据的分类
教育数据有多重分类方式。
从数据产生的业务来源来看,包括 教学类数据、管理类数据、科研类数据 以及服务类数据。
从数据产生的技术场景来看册郑念,包括 感知数据 、业务数据和互联网数据等类型。
从数据结构化程度来看,包括 结构化数据、半结构化数据和非结构化数据 。结构化数据适合用二维表存储。
从数据产生的环节来看,包括 过程性数据和结果性数据州困 。过程性数据是活动过程中采集到的、难以量化的数据(如课堂互动、在线作业、网络搜索等);结果性数据则常表现为某种可量化的结果(如成绩、等级、数量等)。
国家采集的数据主要以管理类、结构化和结果性的数据为主,重点关注宏观层面教育发展整体状况。到大数据时代,教育数据的全面采集和深度挖掘分析变得越来越重要。教育数据采集的重心将向非结构化、过程性的数据转变。
三、教育数据的结构模型
整体来说,教育大数据可以分为四层,由内到外分别是基础层、状态层、资源层和行为层。
基础层:也就是我们国家最最基础的数据,是高度保密的数据; 包括教育部2012年发布的七个教育管理信息系列标准中提到的所有数据,如学校管理信息、行政管理信息和教育统计信息等;
状态层,各种装备、环境与业务的运行状态的数据; 必然设备的耗能、故障、运行时间、校园空气质量、教室光照和教学进度等;
资源层,最上层是关于教育领域的用户行为数据。 比如PPT课件、微课、教学视频、图片、游戏、教学软件、帖子、问题和试题试卷等;
行为层:存储扩大教育相关用户(教师、学生、教研员和教育管理者等)的行为数据, 比如学生的学习行为数据、教师的教学行为数据、教研员的教学指导行为数据以及管理员的系统维护行为数据等。
不同层次的数据应该有不同的采集方式和教育数据应用的场景。
关于教育大数据的冰山模型,目前我们更多的是采集一些显性化的、结构性的数据,而存在冰山之下的是更多的非结构化的,而且真正为教育产生最大价值的数据是在冰山之下的。
参考文献:
教育大数据的来源与采集技术 邢蓓蓓
❷ 如何对大数据来源分类
从大数据的来源来看。
主要分为以下几个大类:
一、国家数据库。
二、企业数据。
三、机器设备数据。
四、个人数据。
方法/步骤
一、国家数据库
包含公开的和保密的两个方面。
公开的如GDP、CPI、固定资产投资等宏观经济数据,包括历年统计年鉴或人口普查的数据,以及地理信息数据、金融数据、房地产数据、医疗统计数据等等。
❸ 大数据技术有哪几类
大数据技术有Java基础、JavaEE核心、Hadoop生态体系、Spark生态体系四大类。
❹ 大数据怎么分类
大数据的类型大致可分为三类:传统企业数据、机器和传感器数据、社交数据。
1、传统企业数据(Traditional enterprise data):包括 CRM systems的消费者数据,传统的ERP数据,库存数据以及账目数据等。
2、机器和传感器数据(Machine-generated / sensor data):包括呼叫记录(Call Detail Records),智能仪表,工业设备传感器,设备日志(通常是Digital exhaust),交易数据等。
3、社交数据(Social data):包括用户行为记录,反馈数据等。如Twitter,Facebook这样的社交媒体平台。
(4)大数据来源于哪四大类扩展阅读:
大数据挖掘商业价值的方法主要分为四种:
1、客户群体细分,然后为每个群体量定制特别的服务。
2、模拟现实环境,发掘新的需求同时提高投资的回报率。
3、加强部门联系,提高整条管理链条和产业链条的效率。
4、降低服务成本,发现隐藏线索进行产品和服务的创新。
❺ 大数据的主要数据来源包括
大数据的来源包括交易数据、人工数据、机器和传感器数据。 交易数据包括POS机数据、信用卡数据等。人为数据,包括通过微信、博客、推文等产生的邮件、文档、图片、数据流等。;以及机器传感器数据,例如传感器、仪表和其他设施。 大数据,或称巨量数据,是指庞大到无法通过主流软件工具在合理的时间内检索、管理、处理和排序的信息,以帮助企业做出更主动的商业决策。大数据需要特殊的技术来有效处理大量可以容忍时间流逝的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展存储系统。
❻ 在产业链条中,大数据通常分为哪几类
分为四大类:
1、科研大数据
2、 互联网大数据
3、企业大数据
4、感知大数据
❼ 大数据的三大主要来源
1、开源数据
开源数据包括了互联网数据、移动数据网数据,互联网平台和移动互回联网平台通过采、编答、发或者通过用户互动产生的数据,公之于众,供网民或用户访问、浏览。
2、业务数据
业务数据产生于各单位的信息化系统中,尤其是内部的信息化系统,我们统称为业务系统。在目前的单位业务系统中,存在于单位的OA系统或者CRM之中,其中蕴含了大量的工作数据和交易数据,以及客户管理数据,包括交易数据、流水数据、记帐数据、借款数据、贷款数据等业务数据,这些数据构建了每天的系统日志,同时又是帐户余额、信用额度、购买能力等的有力补充,这些数据不仅对生产系统起到计费支撑作用,同时也是用户(银行客户、电力客户、担保公司等)进行相关决策的重要基础,所以目前很多单位需要对这些数据进行查询统计和分析。
3、线路数据
无论是互联网还是各种内网,任何的网络行为都需要经过“线路”进行链接和交互,而在这条线路上,要经过无数的路由交换得以完成,这条线路在完成链接的同时,也记录与存贮了大量的数据,我们统称为线路数据。
❽ 大数据来源的几种类型
1.数据收集:在大数据的生命周期中,数据收集处于第一阶段。根据MapRece数据应用系统...
2.数据访问:大数据通过不同的技术路线存储和保存,大致可分为三类。第一类主要处理大规模结构化...
3.基础设施:云存储、分布式文件存储等。
4.数据处理:不同的数据集可能有不同的结构和模式,如文件、XML树、关系表等。这显示了数据的异质性。多个异构数据集需要进一步集成或...
5.统计分析:假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关...
❾ 大数据的类型
大数据要分析的数据类型主要有四大类:
1.交易数据(TRANSACTION DATA)
大数据平台能够获取时间跨度更大、更海量的结构化交易数据,这样就可以对更广泛的交易数据类型进行分析,不仅仅包括POS或电子商务购物数据,还包括行为交易数据,例如Web服务器记录的互联网点击流数据日志。
2.人为数据(HUMAN-GENERATED DATA)
非结构数据广泛存在于电子邮件、文档、图片、音频、视频,以及通过博客、维基,尤其是社交媒体产生的数据流。这些数据为使用文本分析功能进行分析提供了丰富的数据源泉。
3.移动数据(MOBILE DATA)
能够上网的智能手机和平板越来越普遍。这些移动设备上的App都能够追踪和沟通无数事件,从App内的交易数据(如搜索产品的记录事件)到个人信息资料或状态报告事件(如地点变更即报告一个新的地理编码)。
4.机器和传感器数据(MACHINE AND SENSOR DATA)