導航:首頁 > 數據分析 > 大數據平台涉及到哪些軟體

大數據平台涉及到哪些軟體

發布時間:2025-05-24 03:24:05

『壹』 大數據平台的軟體有哪些

一、Phoenix



這是一個Java中間層,可以讓開發者在Apache HBase上執行SQL查詢。Phoenix完全使用Java編寫,代碼位於GitHub上,並且提供了一個客戶端可嵌入的JDBC驅動。



Phoenix查詢引擎會將SQL查詢轉換為一個或多個HBase scan,並編排執行以生成標準的JDBC結果集。直接使用HBase API、協同處理器與自定義過濾器,對於簡單查詢來說,其性能量級是毫秒,對於百萬級別的行數來說,其性能量級是秒。



二、Presto



Facebook開源的數據查詢引擎Presto ,可對250PB以上的數據進行快速地互動式分析。該項目始於 2012 年秋季開始開發,目前該項目已經在超過 1000 名 Facebook 雇員中使用,運行超過 30000 個查詢,每日數據在 1PB 級別。Facebook 稱 Presto 的性能比諸如 Hive 和 Map*Rece 要好上 10 倍有多。



Presto 當前支持 ANSI SQL 的大多數特效,包括聯合查詢、左右聯接、子查詢以及一些聚合和計算函數;支持近似截然不同的計數(DISTINCT COUNT)等。



三、Shark



Shark即Hive on Spark,本質上是通過Hive的HQL解析,把HQL翻譯成Spark上的RDD操作,然後通過Hive的metadata獲取資料庫里的表信息,實際HDFS上的數據和文件,會由Shark獲取並放到Spark上運算。Shark的特點就是快,完全兼容Hive,且可以在shell模式下使用rdd2sql()這樣的API,把HQL得到的結果集,繼續在scala環境下運算,支持自己編寫簡單的機器學習或簡單分析處理函數,對HQL結果進一步分析計算。



關於大數據平台的軟體有哪些,青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣,希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容,可以點擊本站的其他文章進行學習。


以上是小編為大家分享的關於大數據平台的軟體有哪些?的相關內容,更多信息可以關注環球青藤分享更多干貨

閱讀全文

與大數據平台涉及到哪些軟體相關的資料

熱點內容
電腦用什麼軟體看pdf文件格式 瀏覽:154
常德有哪些線下編程課 瀏覽:136
在哪個app上訂機票最好 瀏覽:590
cnc編程中的代碼w什麼意思 瀏覽:83
活動輪廓模型vc程序 瀏覽:426
er圖自動生成工具 瀏覽:261
excel表格中復制到微信顯示空文件 瀏覽:531
湖州婚戀網站費用多少 瀏覽:458
bbc的app哪個好 瀏覽:139
cad文件名窗口布局怎麼設置 瀏覽:16
蘋果5s可以升級80嗎 瀏覽:903
如何查找大文件夾 瀏覽:723
手機如何摳章放到另一張文件里 瀏覽:184
怎麼在工商銀行app添加房產 瀏覽:132
手機怎麼添加文件 瀏覽:387
屏保密碼圖案 瀏覽:186
zoc如何傳輸文件 瀏覽:802
傳送資料用什麼app 瀏覽:978
word文件怎麼加圖片 瀏覽:497
天天酷跑12月新版本 瀏覽:208

友情鏈接