Ⅰ 大數據時代，為什麼使用Spark框架
首先，Hadoop和Apache Spark兩者都是大數據框架，但是各自存在的目的不盡相同。Hadoop實質專上更多是一個分屬布式數據基礎設施:
它將巨大的數據集分派到一個由普通計算機組成的集群中的多個節點進行存儲，意味著您不需要購買和維護昂貴的伺服器硬體。
同時，Hadoop還會索引和跟蹤這些數據，讓大數據處理和分析效率達到前所未有的高度。Spark，則是那麼一個專門用來對那些分布式存儲的大數據進行處理的工具，它並不會進行分布式數據的存儲。
兩者可合可分
Hadoop除了提供為大家所共識的HDFS分布式數據存儲功能之外，還提供了叫做MapRece的數據處理功能。所以這里我們完全可以拋開Spark，使用Hadoop自身的MapRece來完成數據的處理。
相反，Spark也不是非要依附在Hadoop身上才能生存。但如上所述，畢竟它沒有提供文件管理系統，所以，它必須和其他的分布式文件系統進行集成才能運作。這里我們可以選擇Hadoop的HDFS,也可以選擇其他的基於雲的數據系統平台。但Spark默認來說還是被用在Hadoop上面的，畢竟，大家都認為它們的結合是最好的。
Ⅱ 大數據為什麼要選擇Spark
Spark，是一種抄"One Stackto rule them all"的大數據計算襲框架，期望使用一個技術堆棧就完美地解決大數據領域的各種計算任務。Apache官方，對Spark的定義就是：通用的大數據快速處理引擎。Spark除了一站式的特點之外，另外一個最重要的特點，就是基於內存進行計算，從而讓它的速度可以達到MapRece、Hive的數倍甚至數十倍！現在已經有很多大公司正在生產環境下深度地使用Spark作為大數據的計算框架，包括eBay、Yahoo!、BAT、網易、京東、華為、大眾點評、優酷土豆、搜狗等等。
超強的通用性
Spark提供了Spark RDD、Spark SQL、SparkStreaming、Spark MLlib、Spark GraphX等技術組件，可以一站式地完成大數據領域的離線批處理、互動式查詢、流式計算、機器學習、圖計算等常見的任務。
東時大數據學習java語言基礎、java面向對象、Java框架、web前端、Linux入門、hadoop開發、Spark等內容。
Ⅲ 大數據處理為何選擇spark
大數據處理為何選擇Spark，而不是Hadoop？
一、基礎知識
1、Spark
Spark是一個用來實現快速而通用的集群計算的平台。
在速度方面，Spark擴展了廣泛使用的MapRece計算模型，而且高效地支持更多計算模式，包括互動式查詢和流處理。
Spark項目包含多個緊密集成的組件。Spark的核心是一個對由很多計算任務組成的、運行在多個工作機器或者是一個計算集群上的應用進行調度、分發以及監控的計算引擎。
2、Hadoop
Hadoop是一個由Apache基金會所開發的分布式系統基礎架構。
用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力進行高速運算和存儲。
Hadoop的框架最核心的設計就是：HDFS和MapRece。HDFS為海量的數據提供了存儲，則MapRece為海量的數據提供了計算。
很多初學者，對大數據的概念都是模糊不清的，大數據是什麼，能做什麼，學的時候，該按照什麼線路去學習，學完往哪方面發展，想深入了解，想學習的同學歡迎加入大數據學習扣扣群：740041381，有大量干貨（零基礎以及進階的經典實戰）分享給大家，並且有清華大學畢業的資深大數據講師給大家免費授課，給大家分享目前國內最完整的大數據高端實戰實用學習流程體系。
二、大數據處理選擇
Spark和Hadoop都可以進行大數據處理，那如何選擇處理平台呢？
1.處理速度和性能
Spark擴展了廣泛使用的MapRece計算模型，支持循環數據流和內存計算。
Hadoop進行計算時，需要從磁碟讀或者寫數據，同時整個計算模型需要網路傳輸，導致MapRece具有高延遲的弱點。
據統計，基於Spark內存的計算速度比Hadoop MapRece快100倍以上，基於磁碟的計算速度也要快10倍以上。
2.開發難易度
Spark提供多語言(包括Scala、Java、Python)API，能夠快速實現應用，相比MapRece更簡潔的代碼，安裝部署也無需復雜配置。使用API可以輕松地構建分布式應用，同時也可以使用Scala和Python腳本進行互動式編程。
Ⅳ 大數據時代，為什麼使用Spark框架
Apache Spark 是專為大規模數據處理而設計的快速通用的計算引擎。Spark是UC Berkeley AMP lab (加州大學伯克利分內校的AMP實驗室容)所開源的類Hadoop MapRece的通用並行框架，Spark，擁有Hadoop MapRece所具有的優點；但不同於MapRece的是Job中間輸出結果可以保存在內存中，從而不再需要讀寫HDFS，因此Spark能更好地適用於數據挖掘與機器學習等需要迭代的MapRece的演算法。
Spark 是一種與 Hadoop 相似的開源集群計算環境，但是兩者之間還存在一些不同之處，這些有用的不同之處使 Spark 在某些工作負載方面表現得更加優越，換句話說，Spark 啟用了內存分布數據集，除了能夠提供互動式查詢外，它還可以優化迭代工作負載。
Spark 是在 Scala 語言中實現的，它將 Scala 用作其應用程序框架。與 Hadoop 不同，Spark 和 Scala 能夠緊密集成，其中的 Scala 可以像操作本地集合對象一樣輕松地操作分布式數據集。
Ⅳ spark鏄澶ф暟鎹鐨勪粈涔堟ā鍧
Spark鏄澶ф暟鎹澶勭悊涓鐨勪竴涓閲嶈佹ā鍧楋紝涓昏佺敤浜庡ぇ鏁版嵁鐨勫垎甯冨紡澶勭悊鍜岃＄畻銆
Apache Spark鏄涓涓寮婧愮殑銆佸ぇ鏁版嵁澶勭悊妗嗘灦錛屽畠鎻愪緵浜嗕赴瀵岀殑鏁版嵁澶勭悊鍔熻兘錛屽苟涓旇兘澶熶笌鍚勭嶆暟鎹婧愯繘琛岄珮鏁堢殑浜や簰銆係park鏈鍒濇槸鐢卞姞宸炲ぇ瀛︿集鍏嬪埄鍒嗘牎鐨凙MPLab寮鍙戠殑錛岀幇鍦ㄥ凡緇忔垚涓篈pache杞浠跺熀閲戜細鐨勪竴涓欏剁駭欏圭洰銆
1. 鍒嗗竷寮忓勭悊鑳藉姏錛歋park鐨勬牳蹇冧紭鍔垮湪浜庡叾鍒嗗竷寮忓勭悊鑳藉姏銆備紶緇熺殑鏁版嵁澶勭悊鏂瑰紡鍦ㄩ潰瀵規搗閲忔暟鎹鏃訛紝寰寰浼氶亣鍒版ц兘鐡墮堛傝孲park閫氳繃鍒嗗竷寮忚＄畻錛岃兘澶熷皢澶ф暟鎹浠誨姟鍒嗚В鎴愬氫釜灝忎換鍔★紝騫跺湪闆嗙兢涓鐨勫氫釜鑺傜偣涓婂苟琛屽勭悊錛屼粠鑰屽ぇ澶ф彁楂樹簡鏁版嵁澶勭悊鐨勯熷害鍜屾晥鐜囥
2. 澶氭牱鍖栫殑鏁版嵁澶勭悊鑳藉姏錛氶櫎浜嗗熀鏈鐨勫垎甯冨紡璁＄畻鑳藉姏澶栵紝Spark榪樻彁渚涗簡涓板瘜鐨勬暟鎹澶勭悊鍔熻兘錛屽寘鎷琒QL鏌ヨ銆佸浘璁＄畻銆佹満鍣ㄥ︿範絳夈傝繖浜涘姛鑳介兘鏄閫氳繃Spark鐨勬墿灞曟ā鍧楀疄鐜扮殑錛屽係park SQL鐢ㄤ簬澶勭悊緇撴瀯鍖栨暟鎹錛孲park GraphX鐢ㄤ簬鍥捐＄畻錛孲park MLlib鐢ㄤ簬鏈哄櫒瀛︿範絳夈
3. 涓庡悇縐嶆暟鎹婧愮殑浜や簰鑳藉姏錛歋park鑳藉熻交鏉懼湴涓庡悇縐嶆暟鎹婧愯繘琛屼氦浜掞紝鍖呮嫭HDFS銆丠Base銆丆assandra絳夊垎甯冨紡瀛樺偍緋葷粺錛屼互鍙婁紶緇熺殑鍏崇郴鍨嬫暟鎹搴撱傝繖浣垮緱Spark鑳藉熻交鏉懼湴鋙嶅叆鐜版湁鐨勫ぇ鏁版嵁鐢熸佺郴緇燂紝涓虹敤鎴鋒彁渚涚粺涓鐨勬暟鎹澶勭悊騫沖彴銆
4. 瀹炴椂嫻佸勭悊鑳藉姏錛氶櫎浜嗘壒澶勭悊澶栵紝Spark榪樻敮鎸佸疄鏃舵祦澶勭悊銆傞氳繃Spark Streaming妯″潡錛岀敤鎴峰彲浠ュ疄鏃跺湴澶勭悊鏉ヨ嚜鍚勭嶆暟鎹婧愮殑鏁版嵁嫻侊紝濡侹afka銆丗lume絳夈傝繖浣垮緱Spark涓嶄粎鑳藉熷勭悊闈欐佺殑鍘嗗彶鏁版嵁錛岃繕鑳藉熷勭悊鍔ㄦ佺殑瀹炴椂鏁版嵁銆
鎬葷粨鏉ヨ達紝Spark浣滀負澶ф暟鎹澶勭悊鐨勪竴涓閲嶈佹ā鍧楋紝閫氳繃鍏跺垎甯冨紡澶勭悊鑳藉姏銆佸氭牱鍖栫殑鏁版嵁澶勭悊鑳藉姏銆佷笌鍚勭嶆暟鎹婧愮殑浜や簰鑳藉姏浠ュ強瀹炴椂嫻佸勭悊鑳藉姏錛屼負鐢ㄦ埛鎻愪緵浜嗕竴涓楂樻晥銆佺伒媧匯佺粺涓鐨勫ぇ鏁版嵁澶勭悊騫沖彴銆