hadoop26hbase版本

⑴ 如何查看hadoop版本

通過在集群上執行：hadoop version 命令可以查看對應的hadoop的版本。

查看hadoop集群的位數：

執行：cd $HADOOP_HOME/lib/native

file libhadoop.so.1.0.0

Hadoop屬於一個能夠對大量數據進行分布式處理的軟體框架。 Hadoop 以一種可靠、高效、可伸縮的方式進行數據處理。

Hadoop的發行版除了有Apache hadoop外cloudera，hortonworks，mapR，DKhadoop等都提供了自己的商業版本。

商業發行版主要是提供了更為專業的技術支持，這對於大型企業更為重要，不同發行版都有自己的一些特點。

(1)hadoop26hbase版本擴展閱讀：

對比版選擇：DKhadoop發行版、cloudera發行版、hortonworks發行版。

1、DKhadoop發行版：有效的集成了整個HADOOP生態系統的全部組件，並深度優化，重新編譯為一個完整的更高性能的大數據通用計算平台，實現了各部件的有機協調。

因此DKH相比開源的大數據平台，在計算性能上有了高達5倍(最大)的性能提升。DKhadoop將復雜的大數據集群配置簡化至三種節點(主節點、管理節點、計算節點)，極大的簡化了集群的管理運維，增強了集群的高可用性、高可維護性、高穩定性。

2、Cloudera發行版：CDH是Cloudera的hadoop發行版，完全開源，比Apache hadoop在兼容性，安全性，穩定性上有增強。

3、€Hortonworks發行版：Hortonworks 的主打產品是Hortonworks Data Platform (HDP)，也同樣是100%開源的產品。

其版本特點：HDP包括穩定版本的Apache Hadoop的所有關鍵組件;安裝方便，HDP包括一個現代化的，直觀的用戶界面的安裝和配置工具。

⑵ HBase基礎知識

HBase是一個基於Hadoop的分布式、可擴展、面向列的NoSQL資料庫。以下是關於HBase基礎知識的詳細介紹：

1. 起源與發展：

   • 起源：HBase的歷史可以追溯到2006年，當時Google發布了一篇關於Bigtable的論文，描述了一種分布式存儲系統。
   • 發展：2007年，Powerset公司基於Bigtable開發了HBase的Java開源版本。2008年，HBase成為了Apache的頂級項目，實現了BigTable的所有特性，成為了一個開源的非關系型分布式資料庫。

2. 存儲方式與性能：

   • 存儲方式：HBase採用Key/Value存儲方式，數據量增加不會影響查詢性能。
   • 性能表現：使用列式資料庫結構，將表的欄位分散在集群的不同機器上，有效分攤負載壓力。雖然存儲少量數據速度並不快，但在數據量增大時性能表現穩定。

3. 架構組成：

   • Master伺服器：維護表結構信息，如建表、刪表、移動Region和合並Region等操作。地位相對較低，集群對它依賴性較小，即使Master宕機，集群仍能正常運行。
   • RegionServer：負責數據存儲，客戶端通過Zookeeper獲取信息後直接與RegionServer交互。每個伺服器可以安裝一個或多個RegionServer服務。

4. 數據存儲單元：

   • Region：一段數據集合，包含多個Store實例，Store對應列族數據。
   • Store：包含MemStore和多個HFile。WAL用於預先寫入操作，MemStore對數據進行排序後寫入HFile，HFile由多個塊組成，用於實際數據存儲。
   • 列：HBase以列作為基本存儲單位。
   • 行鍵：標識行唯一性，行鍵設計需保證唯一性。
   • 列族：定義了列的屬性。
   • 單元格：存儲數據，包含多個版本，通過時間戳區分。

5. 數據模型：

   • Namespace：表命名空間，用於管理多個表。
   • Table：由列族組成。
   • Row：包含多個列，列族和列使用Column Family:Column Qualifier表示。
   • Column Qualifier：列限定符，與列族一起標識一個具體的列。
   • Cell：存儲數據版本，使用時間戳標定。

6. 數據持久化與讀取：

   • 持久化：HBase的數據持久化到HDFS。
   • 讀取：讀取時優先從BlockCache查找，然後從Memstore和HFile中讀取。HBase數據不可變，新建KeyValue不會被刪除，僅添加墓碑標記。讀取時，墓碑標記會早於數據被讀取，掃描器繼續讀取以確定哪些數據應返回給用戶。

7. 優化建議：

   • 增加過濾條件無法減少Scan遍歷的行數，但縮小行間范圍可以加快掃描速度。

綜上所述，HBase是一個功能強大且靈活的分布式資料庫系統，適用於處理大規模數據集。