❶ 大數據處理框架有哪些
1、批處理
批處理是大數據處理傍邊的遍及需求，批處理主要操作大容量靜態數專據集，並在核算進屬程完成後返回成果。鑒於這樣的處理模式，批處理有個明顯的缺點，便是面對大規模的數據，在核算處理的功率上，不盡如人意。
現在來說，批處理在應對很多持久數據方面的體現極為出色，因而經常被用於對歷史數據進行剖析。
2、流處理
批處理之後呈現的另一種遍及需求，便是流處理，針對實時進入體系的數據進行核算操作，處理成果馬上可用，並會跟著新數據的抵達繼續更新。
在實時性上，流處理體現優異，但是流處理同一時間只能處理一條(真正的流處理)或很少數(微批處理，Micro-batch Processing)數據，不同記錄間只維持最少數的狀況，對硬體的要求也要更高。
3、批處理+流處理
在實踐的使用傍邊，批處理和流處理一起存在的場景也很多，混合處理框架就旨在處理這類問題。供給一種數據處理的通用處理方案，不僅可以供給處理數據所需的辦法，一起供給自己的集成項、庫、東西，可滿足圖形剖析、機器學習、互動式查詢等多種場景。
❷ 大數據具體是學習什麼內容呢主要框架是什麼
首先，學習大數據是需要有java，python和R語言的基礎。
1) Java學習到什麼樣的程度才可以學習大數據呢?
java需要學會javaSE即可。javaweb，javaee對於大數據用不到。學會了javase就可以看懂hadoop框架。
2) python是最容易學習的，難易程度：python java Scala 。
python不是比java更直觀好理解么，因為會了Python 還是要學習java的，你學會了java，再來學習python會很簡單的，一周的時間就可以學會python。
3) R語言也可以學習，但是不推薦，因為java用的人最多，大數據的第一個框架Hadoop，底層全是Java寫的。就算學會了R還是看不懂hadoop。
java在大數據中的作用是構成大數據的語言，大數據的第一個框架Hadoop以及其他大數據技術框架，底層語言全是Java寫的，所以推薦首選學習java
大數據開發學習路線：
第一階段：Hadoop生態架構技術
1、語言基礎
Java：多理解和實踐在Java虛擬機的內存管理、以及多線程、線程池、設計模式、並行化就可以，不需要深入掌握。
Linux：系統安裝、基本命令、網路配置、Vim編輯器、進程管理、Shell腳本、虛擬機的菜單熟悉等等。
Python：基礎語法，數據結構，函數，條件判斷，循環等基礎知識。
2、環境准備
這里介紹在windows電腦搭建完全分布式，1主2從。
VMware虛擬機、Linux系統（Centos6.5）、Hadoop安裝包，這里准備好Hadoop完全分布式集群環境。
3、MapRece
MapRece分布式離線計算框架，是Hadoop核心編程模型。
4、HDFS1.0/2.0
HDFS能提供高吞吐量的數據訪問，適合大規模數據集上的應用。
5、Yarn（Hadoop2.0）
Yarn是一個資源調度平台，主要負責給任務分配資源。
6、Hive
Hive是一個數據倉庫，所有的數據都是存儲在HDFS上的。使用Hive主要是寫Hql。
7、Spark
Spark 是專為大規模數據處理而設計的快速通用的計算引擎。
8、SparkStreaming
Spark Streaming是實時處理框架，數據是一批一批的處理。
9、SparkHive
Spark作為Hive的計算引擎，將Hive的查詢作為Spark的任務提交到Spark集群上進行計算，可以提高Hive查詢的性能。
10、Storm
Storm是一個實時計算框架，Storm是對實時新增的每一條數據進行處理，是一條一條的處理，可以保證數據處理的時效性。
11、Zookeeper
Zookeeper是很多大數據框架的基礎，是集群的管理者。
12、Hbase
Hbase是一個Nosql資料庫，是高可靠、面向列的、可伸縮的、分布式的資料庫。
13、Kafka
kafka是一個消息中間件，作為一個中間緩沖層。
14、Flume
Flume常見的就是採集應用產生的日誌文件中的數據，一般有兩個流程。
一個是Flume採集數據存儲到Kafka中，方便Storm或者SparkStreaming進行實時處理。
另一個流程是Flume採集的數據存儲到HDFS上，為了後期使用hadoop或者spark進行離線處理。
第二階段：數據挖掘演算法
1、中文分詞
開源分詞庫的離線和在線應用
2、自然語言處理
文本相關性演算法
3、推薦演算法
基於CB、CF，歸一法，Mahout應用。
4、分類演算法
NB、SVM
5、回歸演算法
LR、DecisionTree
6、聚類演算法
層次聚類、Kmeans
7、神經網路與深度學習
NN、Tensorflow
以上就是學習Hadoop開發的一個詳細路線，如果需要了解具體框架的開發技術，可咨詢加米穀大數據老師，詳細了解。
學習大數據開發需要掌握哪些技術呢？
（1）Java語言基礎
Java開發介紹、熟悉Eclipse開發工具、Java語言基礎、Java流程式控制制、Java字元串、Java數組與類和對象、數字處理類與核心技術、I/O與反射、多線程、Swing程序與集合類
（2）HTML、CSS與Java
PC端網站布局、HTML5+CSS3基礎、WebApp頁面布局、原生Java交互功能開發、Ajax非同步交互、jQuery應用
（3）JavaWeb和資料庫
資料庫、JavaWeb開發核心、JavaWeb開發內幕
Linux&Hadoop生態體系
Linux體系、Hadoop離線計算大綱、分布式資料庫Hbase、數據倉庫Hive、數據遷移工具Sqoop、Flume分布式日誌框架
分布式計算框架和Spark&Strom生態體系
（1）分布式計算框架
Python編程語言、Scala編程語言、Spark大數據處理、Spark—Streaming大數據處理、Spark—Mlib機器學習、Spark—GraphX 圖計算、實戰一：基於Spark的推薦系統（某一線公司真實項目）、實戰二：新浪網（www.sina.com.cn）
（2）storm技術架構體系
Storm原理與基礎、消息隊列kafka、Redis工具、zookeeper詳解、大數據項目實戰數據獲取、數據處理、數據分析、數據展現、數據應用
大數據分析—AI（人工智慧）Data
Analyze工作環境准備&數據分析基礎、數據可視化、Python機器學習
以上的回答希望對你有所幫助
❸ 教育大數據的技術體系框架
一般而言，大數據的處理流程包括數據採集、數據處理、數據分析與應用服務四個環節。
從下往上依次是：教育數據採集層、教育數據處理層、教育數據分析與展現層和教育數據應用服務層——通過數據傳輸介面，數據採集層將採集到的各類教育數據傳遞給數據處理層，並通過數據整合、存儲形成教育數據平台；基於該教育數據平台，分析與展現層可實現教育數據的可視化展現和大數據的分析與挖掘，並將分析結果通過數據介面傳遞給應用服務層。
安全與監控貫穿整個流程，以保證教育數據各個環節的安全性和可控性；標准與規范則是整個框架的基礎，以保障各個環節之間以及整個系統教育數據的融通與共享。
各個環節的主要任務及其涉及的關鍵技術如下：
1、教育數據採集
數據採集涉及的關鍵技術包括：數據源的選擇和高質量原始數據的採集方法，多源數據的實體識別和解析方法，數據清洗和自動修復方法，數據演化的溯源管理，數據載入、流計算、信息傳輸技術等。
2、教育數據處理
教育數據處理環節包含慎並 數據整合和數據存儲 。其中，數據整合是指通過高質量的數據整合方法，對數據進行加工處理，並在盡可能保留原有語義的情況下去粗取精、消除雜訊，從全局的角度保證數據的一致性和相關性；數據存儲是所有數據的集中存放地，主要用來存放各種結構化、半結構化和非結構化的歷史數據、預測數據、匯總數據以及需要共享的數據等。
3、教育數據分析與展現
（1）教育數據挖掘
教育數據挖掘是一個將來自各教育系統的原始數據轉換為寬拿跡有用信息的過程，這些有用信息可為教師、學生、家長、教育研究人員以及教育軟體系統開發人員所利用。
（2）學習分析
學習分析是指通過測量、收集、分析、匯報學習者和他們所處環境的數據，用以理解和優化學習以及學習發生的環境。
目前，學習分析領域常用的分析方法包括網路分析法、話語分析法和內容分析法。
4、教育數據應用服務
通過對教育大數據的分析，可以輔助教師更好地調整和改進教學策略，重構教學計劃，完善課程的設計與開發；向學生推薦個性化的學習資源、學習任務、學習活動和學習路徑；幫助家長更加全面、真實地認識孩子，與學校一起促進孩子的個性化成長；幫助教育管理者進行更科學的管理決策；幫助社會公眾把握教育的發展現狀，享受更具針對性、更適合自己的終身學習服務。
後續深入介紹。
參考文獻
教育敏碧大數據的技術體系框架與發展趨勢——「教育大數據研究與實踐專欄」之整體框架篇 楊現民
❹ 什麼是大數據的主流框架
大數據的框架肯定指的是分布式存儲和分布式計算的框架
過去這個框架基本上被hadoop壟斷，現在就不專一定了，現在很屬多資料庫已經開發出分布式版本，性能也比簡單的hadoop要強勁，比如阿里的oceanbase，tidb
分步式計算框架目前也有spark，而且超越my proce，專門用來做大規模算的框架，也有一些，比如神經網路，Tensorflow就自帶分布式功能