导航:首页 > 网络数据 > 大数据的技术框架

大数据的技术框架

发布时间:2024-05-18 05:08:17

大数据分析的框架有哪些,各自有什么特点

主流的大数据分析平台构架
1 Hadoop
Hadoop 采用 Map Rece 分布式计算框架,根据 GFS开发了 HDFS 分布式文件系统,根据 Big Table 开发了 HBase数据存储系统。Hadoop 的开源特性使其成为分布式计算系统的事实上的国际标准。Yahoo,Facebook,Amazon 以及国内的网络,阿里巴巴等众多互联网公司都以 Hadoop 为基础搭建自己的分布。

2 Spark
Spark 是在 Hadoop 的基础上进行了一些架构上的改良。Spark 与Hadoop 最大的不同点在于,Hadoop 使用硬盘来存储数据,而Spark 使用内存来存储数据,因此 Spark 可以提供超过 Ha?doop 100 倍的运算速度。由于内存断电后会丢失数据,Spark不能用于处理需要长期保存的数据。
3 Storm
Storm是 Twitter 主推的分布式计算系统。它在Hadoop的基础上提供了实时运算的特性,可以实时的处理大数据流。不同于Hadoop和Spark,Storm不进行数据的收集和存储工作,它直接通过网络实时的接受数据并且实时的处理数据,然后直接通过网络实时的传回结果。
4Samza
Samza 是由 Linked In 开源的一项技术,是一个分布式流处理框架,专用于实时数据的处理,非常像Twitter的流处理系统Storm。不同的是Sam?za 基于 Hadoop,而且使用了 Linked In 自家的 Kafka 分布式消息系统。
Samza 非常适用于实时流数据处理的业务,如数据跟踪、日志服务、实时服务等应用,它能够帮助开发者进行高速消息处理,同时还具有良好的容错能力。

Ⅱ 澶ф暟鎹鎶鏈鏍堝寘鎷鍝浜涳紵

鎶鏈鏍堬紙Technology Stack锛夋槸鎸囩敤浜庡紑鍙戝拰杩愯屼竴涓搴旂敤绋嬪簭鐨勪竴浜涙妧鏈銆佹嗘灦鍜屽伐鍏风殑闆嗗悎銆

澶ф暟鎹鎶鏈鏍

阅读全文

与大数据的技术框架相关的资料

热点内容
pr有哪些预设文件 浏览:752
宝马5系蓝牙升级 浏览:950
ipad压缩文件夹不见了 浏览:280
苹果怎么隐藏软件视频文件怎么打开 浏览:541
按一列生成excel新文件 浏览:941
word打印机无法打印pdf文件夹 浏览:866
4s刷机成功白苹果之后黑屏 浏览:503
自己在网络上如何开发市场 浏览:830
华为手机上的硬件管理工具下载 浏览:767
文件打印怎么转pdf 浏览:713
jsp用什么编程工具 浏览:170
复制到u盘打开后显示文件损坏 浏览:996
编程中面向方向是哪个单词 浏览:659
怎么清除之前的网络认证账号 浏览:215
苹果应用老是闪退是怎么回事啊 浏览:946
涂装悬挂转台机器人怎么编程 浏览:67
电脑里的编程在什么地方 浏览:580
解锁苹果id忘记生日 浏览:847
微信支持文件传输 浏览:568
阻止文件夹搜索win10 浏览:145

友情链接