导航:首页 > 数据分析 > 大数据平台涉及到哪些软件

大数据平台涉及到哪些软件

发布时间:2025-05-24 03:24:05

『壹』 大数据平台的软件有哪些

一、Phoenix



这是一个Java中间层,可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写,代码位于GitHub上,并且提供了一个客户端可嵌入的JDBC驱动。



Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan,并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器,对于简单查询来说,其性能量级是毫秒,对于百万级别的行数来说,其性能量级是秒。



二、Presto



Facebook开源的数据查询引擎Presto ,可对250PB以上的数据进行快速地交互式分析。该项目始于 2012 年秋季开始开发,目前该项目已经在超过 1000 名 Facebook 雇员中使用,运行超过 30000 个查询,每日数据在 1PB 级别。Facebook 称 Presto 的性能比诸如 Hive 和 Map*Rece 要好上 10 倍有多。



Presto 当前支持 ANSI SQL 的大多数特效,包括联合查询、左右联接、子查询以及一些聚合和计算函数;支持近似截然不同的计数(DISTINCT COUNT)等。



三、Shark



Shark即Hive on Spark,本质上是通过Hive的HQL解析,把HQL翻译成Spark上的RDD操作,然后通过Hive的metadata获取数据库里的表信息,实际HDFS上的数据和文件,会由Shark获取并放到Spark上运算。Shark的特点就是快,完全兼容Hive,且可以在shell模式下使用rdd2sql()这样的API,把HQL得到的结果集,继续在scala环境下运算,支持自己编写简单的机器学习或简单分析处理函数,对HQL结果进一步分析计算。



关于大数据平台的软件有哪些,青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣,希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。


以上是小编为大家分享的关于大数据平台的软件有哪些?的相关内容,更多信息可以关注环球青藤分享更多干货

阅读全文

与大数据平台涉及到哪些软件相关的资料

热点内容
常德有哪些线下编程课 浏览:136
在哪个app上订机票最好 浏览:590
cnc编程中的代码w什么意思 浏览:83
活动轮廓模型vc程序 浏览:426
er图自动生成工具 浏览:261
excel表格中复制到微信显示空文件 浏览:531
湖州婚恋网站费用多少 浏览:458
bbc的app哪个好 浏览:139
cad文件名窗口布局怎么设置 浏览:16
苹果5s可以升级80吗 浏览:903
如何查找大文件夹 浏览:723
手机如何抠章放到另一张文件里 浏览:184
怎么在工商银行app添加房产 浏览:132
手机怎么添加文件 浏览:387
屏保密码图案 浏览:186
zoc如何传输文件 浏览:802
传送资料用什么app 浏览:978
word文件怎么加图片 浏览:497
天天酷跑12月新版本 浏览:208
ai保存图片是哪个格式文件 浏览:671

友情链接