㈠ 2分钟读懂大数据框架Hadoop和Spark的异同
1、 Spark VSHadoop哪些异同点
Hadoop:布式批处理计算强调批处理用于数据挖掘、析
Spark:基于内存计算源集群计算系统目让数据析更加快速, Spark 种与 Hadoop 相似源集群计算环境两者间存些同处些用同处使 Spark 某些工作负载面表现更加优越换句说Spark 启用内存布数据集除能够提供交互式查询外优化迭代工作负载
Spark Scala 语言实现 Scala 用作其应用程序框架与 Hadoop 同Spark Scala 能够紧密集其 Scala 像操作本集合象轻松操作布式数据集
尽管创建 Spark 支持布式数据集迭代作业实际 Hadoop 补充 Hadoop 文件系统并行运行通名Mesos第三集群框架支持行Spark 由加州伯克利校 AMP 实验室 (Algorithms,Machines,and People Lab) 发用构建型、低延迟数据析应用程序
虽 Spark 与 Hadoop 相似处提供具用差异新集群计算框架首先Spark 集群计算特定类型工作负载设计即些并行操作间重用工作数据集（比机器习算）工作负载优化些类型工作负载Spark 引进内存集群计算概念内存集群计算数据集缓存内存缩短访问延迟.
数据处理面相信家hadoop已经耳熟能详基于GoogleMap/Rece实现Hadoop发者提供map、rece原语使并行批处理程序变非简单优美Spark提供数据集操作类型种像Hadoop提供MapRece两种操作比map,filter, flatMap,sample, groupByKey, receByKey, union,join, cogroup,mapValues, sort,partionBy等种操作类型些操作称Transformations同提供Count,collect, rece, lookup, save等种actions些种数据集操作类型给层应用者提供便各处理节点间通信模型再像Hadoop唯Data Shuffle种模式用户命名物化控制间结区等说编程模型比Hadoop更灵.
2、Spark容错性面否比其工具更优越性
Spark论文《Resilient Distributed Datasets: AFault-TolerantAbstraction for In-Memory Cluster Computing》没看容错性做倒提布式数据集计算做checkpoint两种式checkpoint dataloggingthe updates貌似Spark采用者文提虽者看似节省存储空间由于数据处理模型类似DAG操作程由于图某节点错由于lineage chains依赖复杂性能引起全部计算节点重新计算本低说存数据存更新志做checkpoint由用户说算吧相于都没说皮球踢给用户所我看由用户根据业务类型衡量存储数据IO磁盘空间代价重新计算代价选择代价较种策略取代给间结进行持久化或建立检查点Spark记住产某些数据集操作序列节点现故障Spark根据存储信息重新构造数据集认错其节点帮助重建
3、Spark于数据处理能力效率哪些特色
Spark提供高性能数据处理能力使用户快速反馈体验更另类应用做数据挖掘Spark充利用内存进行缓存利用DAG消除必要步骤所比较合适做迭代式运算相部机器习算通迭代收敛算所适合用Spark实现我些用算并行化用Spark实现R语言便调用降低用户进行数据挖掘习本
Spark配流数据处理模型与Twitter Storm框架相比Spark采用种趣且独特办Storm基本像放入独立事务管道其事务布式处理相反Spark采用模型收集事务短间内（我假设5秒）批处理式处理事件所收集数据自RDD使用Spark应用程序用组进行处理作者声称种模式缓慢节点故障情况更加稳健且5秒间间隔通于数应用已经足够快种统流式处理与非流式处理部
总结
几看Hadoop权威指南、hbase权威指南、hive权威指南、规模布式存储系统、zoopkeeper、数据互联网规模数据挖掘与布式处理等书同补充能静完整看完本书相错
㈡ 大数据时代，为什么使用Spark框架
解决问题的层面不一样
首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施:
它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件。
同时，Hadoop还会索引和跟踪这些数据，让大数据处理和分析效率达到前所未有的高度。Spark，则是那么一个专门用来对那些分布式存储的大数据进行处理的工具，它并不会进行分布式数据的存储。
两者可合可分
Hadoop除了提供为大家所共识的HDFS分布式数据存储功能之外，还提供了叫做MapRece的数据处理功能。所以这里我们完全可以抛开Spark，使用Hadoop自身的MapRece来完成数据的处理。
相反，Spark也不是非要依附在Hadoop身上才能生存。但如上所述，毕竟它没有提供文件管理系统，所以，它必须和其他的分布式文件系统进行集成才能运作。这里我们可以选择Hadoop的HDFS,也可以选择其他的基于云的数据系统平台。但Spark默认来说还是被用在Hadoop上面的，毕竟，大家都认为它们的结合是最好的。
以下是天地会珠海分舵从网上摘录的对MapRece的最简洁明了的解析，其中把人理解成计算机就好了:
我们要数图书馆中的所有书。你数1号书架，我数2号书架。这就是“Map”。我们人越多，数书就更快。
现在我们到一起，把所有人的统计数加在一起。这就是“Rece”。
Spark数据处理速度秒杀MapRece
Spark因为其处理数据的方式不一样，会比MapRece快上很多。MapRece是分步对数据进行处理的:
”从集群中读取数据，进行一次处理，将结果写到集群，从集群中读取更新后的数据，进行下一次的处理，将结果写到集群，等等...“ Booz Allen
Hamilton的数据科学家Kirk Borne如此解析。
反观Spark，它会在内存中以接近“实时”的时间完成所有的数据分析：“从集群中读取数据，完成所有必须的分析处理，将结果写回集群，完成，”
Born说道。Spark的批处理速度比MapRece快近10倍，内存中的数据分析速度则快近100倍。
如果需要处理的数据和结果需求大部分情况下是静态的，且你也有耐心等待批处理的完成的话，MapRece的处理方式也是完全可以接受的。
但如果你需要对流数据进行分析，比如那些来自于工厂的传感器收集回来的数据，又或者说你的应用是需要多重数据处理的，那么你也许更应该使用Spark进行处理。
大部分机器学习算法都是需要多重数据处理的。此外，通常会用到Spark的应用场景有以下方面：实时的市场活动，在线产品推荐，网络安全分析，机器日记监控等。
㈢ 大数据时代，为什么使用Spark框架
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分内校的AMP实验室容)所开源的类Hadoop MapRece的通用并行框架，Spark，拥有Hadoop MapRece所具有的优点；但不同于MapRece的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapRece的算法。
Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。