❶ 大数据处理框架有哪些
1、批处理
批处理是大数据处理傍边的遍及需求，批处理主要操作大容量静态数专据集，并在核算进属程完成后返回成果。鉴于这样的处理模式，批处理有个明显的缺点，便是面对大规模的数据，在核算处理的功率上，不尽如人意。
现在来说，批处理在应对很多持久数据方面的体现极为出色，因而经常被用于对历史数据进行剖析。
2、流处理
批处理之后呈现的另一种遍及需求，便是流处理，针对实时进入体系的数据进行核算操作，处理成果马上可用，并会跟着新数据的抵达继续更新。
在实时性上，流处理体现优异，但是流处理同一时间只能处理一条(真正的流处理)或很少数(微批处理，Micro-batch Processing)数据，不同记录间只维持最少数的状况，对硬件的要求也要更高。
3、批处理+流处理
在实践的使用傍边，批处理和流处理一起存在的场景也很多，混合处理框架就旨在处理这类问题。供给一种数据处理的通用处理方案，不仅可以供给处理数据所需的办法，一起供给自己的集成项、库、东西，可满足图形剖析、机器学习、交互式查询等多种场景。
❷ 大数据具体是学习什么内容呢主要框架是什么
首先，学习大数据是需要有java，python和R语言的基础。
1) Java学习到什么样的程度才可以学习大数据呢?
java需要学会javaSE即可。javaweb，javaee对于大数据用不到。学会了javase就可以看懂hadoop框架。
2) python是最容易学习的，难易程度：python java Scala 。
python不是比java更直观好理解么，因为会了Python 还是要学习java的，你学会了java，再来学习python会很简单的，一周的时间就可以学会python。
3) R语言也可以学习，但是不推荐，因为java用的人最多，大数据的第一个框架Hadoop，底层全是Java写的。就算学会了R还是看不懂hadoop。
java在大数据中的作用是构成大数据的语言，大数据的第一个框架Hadoop以及其他大数据技术框架，底层语言全是Java写的，所以推荐首选学习java
大数据开发学习路线：
第一阶段：Hadoop生态架构技术
1、语言基础
Java：多理解和实践在Java虚拟机的内存管理、以及多线程、线程池、设计模式、并行化就可以，不需要深入掌握。
Linux：系统安装、基本命令、网络配置、Vim编辑器、进程管理、Shell脚本、虚拟机的菜单熟悉等等。
Python：基础语法，数据结构，函数，条件判断，循环等基础知识。
2、环境准备
这里介绍在windows电脑搭建完全分布式，1主2从。
VMware虚拟机、Linux系统（Centos6.5）、Hadoop安装包，这里准备好Hadoop完全分布式集群环境。
3、MapRece
MapRece分布式离线计算框架，是Hadoop核心编程模型。
4、HDFS1.0/2.0
HDFS能提供高吞吐量的数据访问，适合大规模数据集上的应用。
5、Yarn（Hadoop2.0）
Yarn是一个资源调度平台，主要负责给任务分配资源。
6、Hive
Hive是一个数据仓库，所有的数据都是存储在HDFS上的。使用Hive主要是写Hql。
7、Spark
Spark 是专为大规模数据处理而设计的快速通用的计算引擎。
8、SparkStreaming
Spark Streaming是实时处理框架，数据是一批一批的处理。
9、SparkHive
Spark作为Hive的计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算，可以提高Hive查询的性能。
10、Storm
Storm是一个实时计算框架，Storm是对实时新增的每一条数据进行处理，是一条一条的处理，可以保证数据处理的时效性。
11、Zookeeper
Zookeeper是很多大数据框架的基础，是集群的管理者。
12、Hbase
Hbase是一个Nosql数据库，是高可靠、面向列的、可伸缩的、分布式的数据库。
13、Kafka
kafka是一个消息中间件，作为一个中间缓冲层。
14、Flume
Flume常见的就是采集应用产生的日志文件中的数据，一般有两个流程。
一个是Flume采集数据存储到Kafka中，方便Storm或者SparkStreaming进行实时处理。
另一个流程是Flume采集的数据存储到HDFS上，为了后期使用hadoop或者spark进行离线处理。
第二阶段：数据挖掘算法
1、中文分词
开源分词库的离线和在线应用
2、自然语言处理
文本相关性算法
3、推荐算法
基于CB、CF，归一法，Mahout应用。
4、分类算法
NB、SVM
5、回归算法
LR、DecisionTree
6、聚类算法
层次聚类、Kmeans
7、神经网络与深度学习
NN、Tensorflow
以上就是学习Hadoop开发的一个详细路线，如果需要了解具体框架的开发技术，可咨询加米谷大数据老师，详细了解。
学习大数据开发需要掌握哪些技术呢？
（1）Java语言基础
Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射、多线程、Swing程序与集合类
（2）HTML、CSS与Java
PC端网站布局、HTML5+CSS3基础、WebApp页面布局、原生Java交互功能开发、Ajax异步交互、jQuery应用
（3）JavaWeb和数据库
数据库、JavaWeb开发核心、JavaWeb开发内幕
Linux&Hadoop生态体系
Linux体系、Hadoop离线计算大纲、分布式数据库Hbase、数据仓库Hive、数据迁移工具Sqoop、Flume分布式日志框架
分布式计算框架和Spark&Strom生态体系
（1）分布式计算框架
Python编程语言、Scala编程语言、Spark大数据处理、Spark—Streaming大数据处理、Spark—Mlib机器学习、Spark—GraphX 图计算、实战一：基于Spark的推荐系统（某一线公司真实项目）、实战二：新浪网（www.sina.com.cn）
（2）storm技术架构体系
Storm原理与基础、消息队列kafka、Redis工具、zookeeper详解、大数据项目实战数据获取、数据处理、数据分析、数据展现、数据应用
大数据分析—AI（人工智能）Data
Analyze工作环境准备&数据分析基础、数据可视化、Python机器学习
以上的回答希望对你有所帮助
❸ 教育大数据的技术体系框架
一般而言，大数据的处理流程包括数据采集、数据处理、数据分析与应用服务四个环节。
从下往上依次是：教育数据采集层、教育数据处理层、教育数据分析与展现层和教育数据应用服务层——通过数据传输接口，数据采集层将采集到的各类教育数据传递给数据处理层，并通过数据整合、存储形成教育数据平台；基于该教育数据平台，分析与展现层可实现教育数据的可视化展现和大数据的分析与挖掘，并将分析结果通过数据接口传递给应用服务层。
安全与监控贯穿整个流程，以保证教育数据各个环节的安全性和可控性；标准与规范则是整个框架的基础，以保障各个环节之间以及整个系统教育数据的融通与共享。
各个环节的主要任务及其涉及的关键技术如下：
1、教育数据采集
数据采集涉及的关键技术包括：数据源的选择和高质量原始数据的采集方法，多源数据的实体识别和解析方法，数据清洗和自动修复方法，数据演化的溯源管理，数据加载、流计算、信息传输技术等。
2、教育数据处理
教育数据处理环节包含慎并 数据整合和数据存储 。其中，数据整合是指通过高质量的数据整合方法，对数据进行加工处理，并在尽可能保留原有语义的情况下去粗取精、消除噪声，从全局的角度保证数据的一致性和相关性；数据存储是所有数据的集中存放地，主要用来存放各种结构化、半结构化和非结构化的历史数据、预测数据、汇总数据以及需要共享的数据等。
3、教育数据分析与展现
（1）教育数据挖掘
教育数据挖掘是一个将来自各教育系统的原始数据转换为宽拿迹有用信息的过程，这些有用信息可为教师、学生、家长、教育研究人员以及教育软件系统开发人员所利用。
（2）学习分析
学习分析是指通过测量、收集、分析、汇报学习者和他们所处环境的数据，用以理解和优化学习以及学习发生的环境。
目前，学习分析领域常用的分析方法包括网络分析法、话语分析法和内容分析法。
4、教育数据应用服务
通过对教育大数据的分析，可以辅助教师更好地调整和改进教学策略，重构教学计划，完善课程的设计与开发；向学生推荐个性化的学习资源、学习任务、学习活动和学习路径；帮助家长更加全面、真实地认识孩子，与学校一起促进孩子的个性化成长；帮助教育管理者进行更科学的管理决策；帮助社会公众把握教育的发展现状，享受更具针对性、更适合自己的终身学习服务。
后续深入介绍。
参考文献
教育敏碧大数据的技术体系框架与发展趋势——“教育大数据研究与实践专栏”之整体框架篇 杨现民
❹ 什么是大数据的主流框架
大数据的框架肯定指的是分布式存储和分布式计算的框架
过去这个框架基本上被hadoop垄断，现在就不专一定了，现在很属多数据库已经开发出分布式版本，性能也比简单的hadoop要强劲，比如阿里的oceanbase，tidb
分步式计算框架目前也有spark，而且超越my proce，专门用来做大规模算的框架，也有一些，比如神经网络，Tensorflow就自带分布式功能