导航:首页 > 数据分析 > 大数据平台涉及到哪些软件

大数据平台涉及到哪些软件

发布时间:2025-05-24 03:24:05

『壹』 大数据平台的软件有哪些

一、Phoenix



这是一个Java中间层,可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写,代码位于GitHub上,并且提供了一个客户端可嵌入的JDBC驱动。



Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan,并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器,对于简单查询来说,其性能量级是毫秒,对于百万级别的行数来说,其性能量级是秒。



二、Presto



Facebook开源的数据查询引擎Presto ,可对250PB以上的数据进行快速地交互式分析。该项目始于 2012 年秋季开始开发,目前该项目已经在超过 1000 名 Facebook 雇员中使用,运行超过 30000 个查询,每日数据在 1PB 级别。Facebook 称 Presto 的性能比诸如 Hive 和 Map*Rece 要好上 10 倍有多。



Presto 当前支持 ANSI SQL 的大多数特效,包括联合查询、左右联接、子查询以及一些聚合和计算函数;支持近似截然不同的计数(DISTINCT COUNT)等。



三、Shark



Shark即Hive on Spark,本质上是通过Hive的HQL解析,把HQL翻译成Spark上的RDD操作,然后通过Hive的metadata获取数据库里的表信息,实际HDFS上的数据和文件,会由Shark获取并放到Spark上运算。Shark的特点就是快,完全兼容Hive,且可以在shell模式下使用rdd2sql()这样的API,把HQL得到的结果集,继续在scala环境下运算,支持自己编写简单的机器学习或简单分析处理函数,对HQL结果进一步分析计算。



关于大数据平台的软件有哪些,青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣,希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。


以上是小编为大家分享的关于大数据平台的软件有哪些?的相关内容,更多信息可以关注环球青藤分享更多干货

阅读全文

与大数据平台涉及到哪些软件相关的资料

热点内容
少儿编程哪个语言比较好 浏览:562
三国群雄怎么升级快 浏览:379
两门编程语言哪个为主哪个为辅 浏览:334
哪里看app下载用了多少内存 浏览:415
苹果手机从上拉下来的是什么功能 浏览:138
不关服务改配置文件会出问题吗 浏览:358
三年级网络图怎么画 浏览:860
小马激活工具2008r2 浏览:802
手机安装包文件怎么修改内容 浏览:919
java定时任务删除文件 浏览:618
之前的秋霞网站现在改了什么 浏览:651
学ug编程看直播和视频哪个好 浏览:327
1520升级wp81正式版好吗 浏览:440
扬州千人在线版本 浏览:227
编程G后必须跟一个数什么意思 浏览:638
冰封王座塔防在哪个文件夹 浏览:958
用电脑有什么可以兼职的网站 浏览:233
applewatch登机牌 浏览:268
铁制文件柜哪个品牌质量好 浏览:10
联想主机系统的默认配置文件登录 浏览:78

友情链接