导航:首页 > 网络数据 > 大数据的技术框架

大数据的技术框架

发布时间:2024-05-18 05:08:17

大数据分析的框架有哪些,各自有什么特点

主流的大数据分析平台构架
1 Hadoop
Hadoop 采用 Map Rece 分布式计算框架,根据 GFS开发了 HDFS 分布式文件系统,根据 Big Table 开发了 HBase数据存储系统。Hadoop 的开源特性使其成为分布式计算系统的事实上的国际标准。Yahoo,Facebook,Amazon 以及国内的网络,阿里巴巴等众多互联网公司都以 Hadoop 为基础搭建自己的分布。

2 Spark
Spark 是在 Hadoop 的基础上进行了一些架构上的改良。Spark 与Hadoop 最大的不同点在于,Hadoop 使用硬盘来存储数据,而Spark 使用内存来存储数据,因此 Spark 可以提供超过 Ha?doop 100 倍的运算速度。由于内存断电后会丢失数据,Spark不能用于处理需要长期保存的数据。
3 Storm
Storm是 Twitter 主推的分布式计算系统。它在Hadoop的基础上提供了实时运算的特性,可以实时的处理大数据流。不同于Hadoop和Spark,Storm不进行数据的收集和存储工作,它直接通过网络实时的接受数据并且实时的处理数据,然后直接通过网络实时的传回结果。
4Samza
Samza 是由 Linked In 开源的一项技术,是一个分布式流处理框架,专用于实时数据的处理,非常像Twitter的流处理系统Storm。不同的是Sam?za 基于 Hadoop,而且使用了 Linked In 自家的 Kafka 分布式消息系统。
Samza 非常适用于实时流数据处理的业务,如数据跟踪、日志服务、实时服务等应用,它能够帮助开发者进行高速消息处理,同时还具有良好的容错能力。

Ⅱ 澶ф暟鎹鎶鏈鏍堝寘鎷鍝浜涳紵

鎶鏈鏍堬紙Technology Stack锛夋槸鎸囩敤浜庡紑鍙戝拰杩愯屼竴涓搴旂敤绋嬪簭鐨勪竴浜涙妧鏈銆佹嗘灦鍜屽伐鍏风殑闆嗗悎銆

澶ф暟鎹鎶鏈鏍

阅读全文

与大数据的技术框架相关的资料

热点内容
怎样彻底卸载cad文件 浏览:829
iphone4港版 浏览:624
怎么用命令打开程序错误 浏览:665
iphone6怎么改控制中心 浏览:808
ns错误代码 浏览:653
iphone4s如何取消软件更新提示 浏览:538
jsp打印换行 浏览:662
哪个软件可以编程手机软件 浏览:554
如东如何学数控编程培训 浏览:5
微信h5页面怎么修改 浏览:931
手机怎么无法打开视频文件夹 浏览:840
抖音如何上直播网站 浏览:887
录屏截图大师保存的文件在哪里 浏览:751
红河谷第二个版本 浏览:895
c语言如何让整型数据的商为小数 浏览:863
怎样下东西不要密码 浏览:320
小米手机拍照后文件名要怎么设置 浏览:429
每年程序员就业形势 浏览:425
安卓手机如何卸载程序 浏览:955
相机能用qq不能用 浏览:319

友情链接