Ⅰ 大数据时代，为什么使用Spark框架
首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质专上更多是一个分属布式数据基础设施:
它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件。
同时，Hadoop还会索引和跟踪这些数据，让大数据处理和分析效率达到前所未有的高度。Spark，则是那么一个专门用来对那些分布式存储的大数据进行处理的工具，它并不会进行分布式数据的存储。
两者可合可分
Hadoop除了提供为大家所共识的HDFS分布式数据存储功能之外，还提供了叫做MapRece的数据处理功能。所以这里我们完全可以抛开Spark，使用Hadoop自身的MapRece来完成数据的处理。
相反，Spark也不是非要依附在Hadoop身上才能生存。但如上所述，毕竟它没有提供文件管理系统，所以，它必须和其他的分布式文件系统进行集成才能运作。这里我们可以选择Hadoop的HDFS,也可以选择其他的基于云的数据系统平台。但Spark默认来说还是被用在Hadoop上面的，毕竟，大家都认为它们的结合是最好的。
Ⅱ 大数据为什么要选择Spark
Spark，是一种抄"One Stackto rule them all"的大数据计算袭框架，期望使用一个技术堆栈就完美地解决大数据领域的各种计算任务。Apache官方，对Spark的定义就是：通用的大数据快速处理引擎。Spark除了一站式的特点之外，另外一个最重要的特点，就是基于内存进行计算，从而让它的速度可以达到MapRece、Hive的数倍甚至数十倍！现在已经有很多大公司正在生产环境下深度地使用Spark作为大数据的计算框架，包括eBay、Yahoo!、BAT、网易、京东、华为、大众点评、优酷土豆、搜狗等等。
超强的通用性
Spark提供了Spark RDD、Spark SQL、SparkStreaming、Spark MLlib、Spark GraphX等技术组件，可以一站式地完成大数据领域的离线批处理、交互式查询、流式计算、机器学习、图计算等常见的任务。
东时大数据学习java语言基础、java面向对象、Java框架、web前端、Linux入门、hadoop开发、Spark等内容。
Ⅲ 大数据处理为何选择spark
大数据处理为何选择Spark，而不是Hadoop？
一、基础知识
1、Spark
Spark是一个用来实现快速而通用的集群计算的平台。
在速度方面，Spark扩展了广泛使用的MapRece计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。
Spark项目包含多个紧密集成的组件。Spark的核心是一个对由很多计算任务组成的、运行在多个工作机器或者是一个计算集群上的应用进行调度、分发以及监控的计算引擎。
2、Hadoop
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop的框架最核心的设计就是：HDFS和MapRece。HDFS为海量的数据提供了存储，则MapRece为海量的数据提供了计算。
很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习扣扣群：740041381，有大量干货（零基础以及进阶的经典实战）分享给大家，并且有清华大学毕业的资深大数据讲师给大家免费授课，给大家分享目前国内最完整的大数据高端实战实用学习流程体系。
二、大数据处理选择
Spark和Hadoop都可以进行大数据处理，那如何选择处理平台呢？
1.处理速度和性能
Spark扩展了广泛使用的MapRece计算模型，支持循环数据流和内存计算。
Hadoop进行计算时，需要从磁盘读或者写数据，同时整个计算模型需要网络传输，导致MapRece具有高延迟的弱点。
据统计，基于Spark内存的计算速度比Hadoop MapRece快100倍以上，基于磁盘的计算速度也要快10倍以上。
2.开发难易度
Spark提供多语言(包括Scala、Java、Python)API，能够快速实现应用，相比MapRece更简洁的代码，安装部署也无需复杂配置。使用API可以轻松地构建分布式应用，同时也可以使用Scala和Python脚本进行交互式编程。
Ⅳ 大数据时代，为什么使用Spark框架
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分内校的AMP实验室容)所开源的类Hadoop MapRece的通用并行框架，Spark，拥有Hadoop MapRece所具有的优点；但不同于MapRece的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapRece的算法。
Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。
Ⅳ spark鏄澶ф暟鎹鐨勪粈涔堟ā鍧
Spark鏄澶ф暟鎹澶勭悊涓鐨勪竴涓閲嶈佹ā鍧楋紝涓昏佺敤浜庡ぇ鏁版嵁鐨勫垎甯冨紡澶勭悊鍜岃＄畻銆
Apache Spark鏄涓涓寮婧愮殑銆佸ぇ鏁版嵁澶勭悊妗嗘灦锛屽畠鎻愪緵浜嗕赴瀵岀殑鏁版嵁澶勭悊鍔熻兘锛屽苟涓旇兘澶熶笌鍚勭嶆暟鎹婧愯繘琛岄珮鏁堢殑浜や簰銆係park鏈鍒濇槸鐢卞姞宸炲ぇ瀛︿集鍏嬪埄鍒嗘牎鐨凙MPLab寮鍙戠殑锛岀幇鍦ㄥ凡缁忔垚涓篈pache杞浠跺熀閲戜細鐨勪竴涓椤剁骇椤圭洰銆
1. 鍒嗗竷寮忓勭悊鑳藉姏锛歋park鐨勬牳蹇冧紭鍔垮湪浜庡叾鍒嗗竷寮忓勭悊鑳藉姏銆備紶缁熺殑鏁版嵁澶勭悊鏂瑰紡鍦ㄩ潰瀵规捣閲忔暟鎹鏃讹紝寰寰浼氶亣鍒版ц兘鐡堕堛傝孲park閫氳繃鍒嗗竷寮忚＄畻锛岃兘澶熷皢澶ф暟鎹浠诲姟鍒嗚В鎴愬氫釜灏忎换鍔★紝骞跺湪闆嗙兢涓鐨勫氫釜鑺傜偣涓婂苟琛屽勭悊锛屼粠鑰屽ぇ澶ф彁楂樹簡鏁版嵁澶勭悊鐨勯熷害鍜屾晥鐜囥
2. 澶氭牱鍖栫殑鏁版嵁澶勭悊鑳藉姏锛氶櫎浜嗗熀鏈鐨勫垎甯冨紡璁＄畻鑳藉姏澶栵紝Spark杩樻彁渚涗簡涓板瘜鐨勬暟鎹澶勭悊鍔熻兘锛屽寘鎷琒QL鏌ヨ銆佸浘璁＄畻銆佹満鍣ㄥ︿範绛夈傝繖浜涘姛鑳介兘鏄閫氳繃Spark鐨勬墿灞曟ā鍧楀疄鐜扮殑锛屽係park SQL鐢ㄤ簬澶勭悊缁撴瀯鍖栨暟鎹锛孲park GraphX鐢ㄤ簬鍥捐＄畻锛孲park MLlib鐢ㄤ簬鏈哄櫒瀛︿範绛夈
3. 涓庡悇绉嶆暟鎹婧愮殑浜や簰鑳藉姏锛歋park鑳藉熻交鏉惧湴涓庡悇绉嶆暟鎹婧愯繘琛屼氦浜掞紝鍖呮嫭HDFS銆丠Base銆丆assandra绛夊垎甯冨紡瀛樺偍绯荤粺锛屼互鍙婁紶缁熺殑鍏崇郴鍨嬫暟鎹搴撱傝繖浣垮緱Spark鑳藉熻交鏉惧湴铻嶅叆鐜版湁鐨勫ぇ鏁版嵁鐢熸佺郴缁燂紝涓虹敤鎴锋彁渚涚粺涓鐨勬暟鎹澶勭悊骞冲彴銆
4. 瀹炴椂娴佸勭悊鑳藉姏锛氶櫎浜嗘壒澶勭悊澶栵紝Spark杩樻敮鎸佸疄鏃舵祦澶勭悊銆傞氳繃Spark Streaming妯″潡锛岀敤鎴峰彲浠ュ疄鏃跺湴澶勭悊鏉ヨ嚜鍚勭嶆暟鎹婧愮殑鏁版嵁娴侊紝濡侹afka銆丗lume绛夈傝繖浣垮緱Spark涓嶄粎鑳藉熷勭悊闈欐佺殑鍘嗗彶鏁版嵁锛岃繕鑳藉熷勭悊鍔ㄦ佺殑瀹炴椂鏁版嵁銆
鎬荤粨鏉ヨ达紝Spark浣滀负澶ф暟鎹澶勭悊鐨勪竴涓閲嶈佹ā鍧楋紝閫氳繃鍏跺垎甯冨紡澶勭悊鑳藉姏銆佸氭牱鍖栫殑鏁版嵁澶勭悊鑳藉姏銆佷笌鍚勭嶆暟鎹婧愮殑浜や簰鑳藉姏浠ュ強瀹炴椂娴佸勭悊鑳藉姏锛屼负鐢ㄦ埛鎻愪緵浜嗕竴涓楂樻晥銆佺伒娲汇佺粺涓鐨勫ぇ鏁版嵁澶勭悊骞冲彴銆