导航:首页 > 网络数据 > 大数据的技术框架

大数据的技术框架

发布时间:2024-05-18 05:08:17

大数据分析的框架有哪些,各自有什么特点

主流的大数据分析平台构架
1 Hadoop
Hadoop 采用 Map Rece 分布式计算框架,根据 GFS开发了 HDFS 分布式文件系统,根据 Big Table 开发了 HBase数据存储系统。Hadoop 的开源特性使其成为分布式计算系统的事实上的国际标准。Yahoo,Facebook,Amazon 以及国内的网络,阿里巴巴等众多互联网公司都以 Hadoop 为基础搭建自己的分布。

2 Spark
Spark 是在 Hadoop 的基础上进行了一些架构上的改良。Spark 与Hadoop 最大的不同点在于,Hadoop 使用硬盘来存储数据,而Spark 使用内存来存储数据,因此 Spark 可以提供超过 Ha?doop 100 倍的运算速度。由于内存断电后会丢失数据,Spark不能用于处理需要长期保存的数据。
3 Storm
Storm是 Twitter 主推的分布式计算系统。它在Hadoop的基础上提供了实时运算的特性,可以实时的处理大数据流。不同于Hadoop和Spark,Storm不进行数据的收集和存储工作,它直接通过网络实时的接受数据并且实时的处理数据,然后直接通过网络实时的传回结果。
4Samza
Samza 是由 Linked In 开源的一项技术,是一个分布式流处理框架,专用于实时数据的处理,非常像Twitter的流处理系统Storm。不同的是Sam?za 基于 Hadoop,而且使用了 Linked In 自家的 Kafka 分布式消息系统。
Samza 非常适用于实时流数据处理的业务,如数据跟踪、日志服务、实时服务等应用,它能够帮助开发者进行高速消息处理,同时还具有良好的容错能力。

Ⅱ 澶ф暟鎹鎶鏈鏍堝寘鎷鍝浜涳紵

鎶鏈鏍堬紙Technology Stack锛夋槸鎸囩敤浜庡紑鍙戝拰杩愯屼竴涓搴旂敤绋嬪簭鐨勪竴浜涙妧鏈銆佹嗘灦鍜屽伐鍏风殑闆嗗悎銆

澶ф暟鎹鎶鏈鏍

阅读全文

与大数据的技术框架相关的资料

热点内容
数据库的使用过程 浏览:761
excel怎么用高级筛选数据 浏览:438
js中怎么设置css样式 浏览:724
商业网站模板下载 浏览:548
c怎么调用数据库 浏览:438
vue封装js方法 浏览:705
电脑文件夹蓝色的 浏览:713
tp无线网设置管理密码忘记了怎么办 浏览:386
ipa里资源文件 浏览:110
苹果的文件管理在那里 浏览:633
qq浏览器文件如何发到qq 浏览:736
百度地图加载多个点代码 浏览:146
数据横向复制如何纵向粘贴 浏览:433
2020cab画图数据怎么调 浏览:534
teamview12linux 浏览:175
java编辑word文件 浏览:149
类似scihub的网站有哪些 浏览:398
ios哪里找小众app 浏览:377
毒霸新闻弹窗是哪个文件 浏览:331
雨林木win10 浏览:881

友情链接