导航:首页 > 数据分析 > 大数据平台涉及到哪些软件

大数据平台涉及到哪些软件

发布时间:2025-05-24 03:24:05

『壹』 大数据平台的软件有哪些

一、Phoenix



这是一个Java中间层,可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写,代码位于GitHub上,并且提供了一个客户端可嵌入的JDBC驱动。



Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan,并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器,对于简单查询来说,其性能量级是毫秒,对于百万级别的行数来说,其性能量级是秒。



二、Presto



Facebook开源的数据查询引擎Presto ,可对250PB以上的数据进行快速地交互式分析。该项目始于 2012 年秋季开始开发,目前该项目已经在超过 1000 名 Facebook 雇员中使用,运行超过 30000 个查询,每日数据在 1PB 级别。Facebook 称 Presto 的性能比诸如 Hive 和 Map*Rece 要好上 10 倍有多。



Presto 当前支持 ANSI SQL 的大多数特效,包括联合查询、左右联接、子查询以及一些聚合和计算函数;支持近似截然不同的计数(DISTINCT COUNT)等。



三、Shark



Shark即Hive on Spark,本质上是通过Hive的HQL解析,把HQL翻译成Spark上的RDD操作,然后通过Hive的metadata获取数据库里的表信息,实际HDFS上的数据和文件,会由Shark获取并放到Spark上运算。Shark的特点就是快,完全兼容Hive,且可以在shell模式下使用rdd2sql()这样的API,把HQL得到的结果集,继续在scala环境下运算,支持自己编写简单的机器学习或简单分析处理函数,对HQL结果进一步分析计算。



关于大数据平台的软件有哪些,青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣,希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。


以上是小编为大家分享的关于大数据平台的软件有哪些?的相关内容,更多信息可以关注环球青藤分享更多干货

阅读全文

与大数据平台涉及到哪些软件相关的资料

热点内容
svn增加文件桌面图标也变了 浏览:514
Abb机器人怎么编程画圆 浏览:958
手机微信接收的文件存储在哪里 浏览:546
js怎么给div加边框颜色 浏览:645
nodejshttphtml5 浏览:915
如何快速将文件内容快速调整 浏览:349
marsandroid开发视频教程 浏览:814
word信任中心 浏览:480
pr有哪些预设文件 浏览:752
宝马5系蓝牙升级 浏览:950
ipad压缩文件夹不见了 浏览:280
苹果怎么隐藏软件视频文件怎么打开 浏览:541
按一列生成excel新文件 浏览:941
word打印机无法打印pdf文件夹 浏览:866
4s刷机成功白苹果之后黑屏 浏览:503
自己在网络上如何开发市场 浏览:830
华为手机上的硬件管理工具下载 浏览:767
文件打印怎么转pdf 浏览:713
jsp用什么编程工具 浏览:170
复制到u盘打开后显示文件损坏 浏览:996

友情链接