hadoop26hbase版本

⑴ 如何查看hadoop版本

通过在集群上执行：hadoop version 命令可以查看对应的hadoop的版本。

查看hadoop集群的位数：

执行：cd $HADOOP_HOME/lib/native

file libhadoop.so.1.0.0

Hadoop属于一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。

Hadoop的发行版除了有Apache hadoop外cloudera，hortonworks，mapR，DKhadoop等都提供了自己的商业版本。

商业发行版主要是提供了更为专业的技术支持，这对于大型企业更为重要，不同发行版都有自己的一些特点。

(1)hadoop26hbase版本扩展阅读：

对比版选择：DKhadoop发行版、cloudera发行版、hortonworks发行版。

1、DKhadoop发行版：有效的集成了整个HADOOP生态系统的全部组件，并深度优化，重新编译为一个完整的更高性能的大数据通用计算平台，实现了各部件的有机协调。

因此DKH相比开源的大数据平台，在计算性能上有了高达5倍(最大)的性能提升。DKhadoop将复杂的大数据集群配置简化至三种节点(主节点、管理节点、计算节点)，极大的简化了集群的管理运维，增强了集群的高可用性、高可维护性、高稳定性。

2、Cloudera发行版：CDH是Cloudera的hadoop发行版，完全开源，比Apache hadoop在兼容性，安全性，稳定性上有增强。

3、€Hortonworks发行版：Hortonworks 的主打产品是Hortonworks Data Platform (HDP)，也同样是100%开源的产品。

其版本特点：HDP包括稳定版本的Apache Hadoop的所有关键组件;安装方便，HDP包括一个现代化的，直观的用户界面的安装和配置工具。

⑵ HBase基础知识

HBase是一个基于Hadoop的分布式、可扩展、面向列的NoSQL数据库。以下是关于HBase基础知识的详细介绍：

1. 起源与发展：

   • 起源：HBase的历史可以追溯到2006年，当时Google发布了一篇关于Bigtable的论文，描述了一种分布式存储系统。
   • 发展：2007年，Powerset公司基于Bigtable开发了HBase的Java开源版本。2008年，HBase成为了Apache的顶级项目，实现了BigTable的所有特性，成为了一个开源的非关系型分布式数据库。

2. 存储方式与性能：

   • 存储方式：HBase采用Key/Value存储方式，数据量增加不会影响查询性能。
   • 性能表现：使用列式数据库结构，将表的字段分散在集群的不同机器上，有效分摊负载压力。虽然存储少量数据速度并不快，但在数据量增大时性能表现稳定。

3. 架构组成：

   • Master服务器：维护表结构信息，如建表、删表、移动Region和合并Region等操作。地位相对较低，集群对它依赖性较小，即使Master宕机，集群仍能正常运行。
   • RegionServer：负责数据存储，客户端通过Zookeeper获取信息后直接与RegionServer交互。每个服务器可以安装一个或多个RegionServer服务。

4. 数据存储单元：

   • Region：一段数据集合，包含多个Store实例，Store对应列族数据。
   • Store：包含MemStore和多个HFile。WAL用于预先写入操作，MemStore对数据进行排序后写入HFile，HFile由多个块组成，用于实际数据存储。
   • 列：HBase以列作为基本存储单位。
   • 行键：标识行唯一性，行键设计需保证唯一性。
   • 列族：定义了列的属性。
   • 单元格：存储数据，包含多个版本，通过时间戳区分。

5. 数据模型：

   • Namespace：表命名空间，用于管理多个表。
   • Table：由列族组成。
   • Row：包含多个列，列族和列使用Column Family:Column Qualifier表示。
   • Column Qualifier：列限定符，与列族一起标识一个具体的列。
   • Cell：存储数据版本，使用时间戳标定。

6. 数据持久化与读取：

   • 持久化：HBase的数据持久化到HDFS。
   • 读取：读取时优先从BlockCache查找，然后从Memstore和HFile中读取。HBase数据不可变，新建KeyValue不会被删除，仅添加墓碑标记。读取时，墓碑标记会早于数据被读取，扫描器继续读取以确定哪些数据应返回给用户。

7. 优化建议：

   • 增加过滤条件无法减少Scan遍历的行数，但缩小行间范围可以加快扫描速度。

综上所述，HBase是一个功能强大且灵活的分布式数据库系统，适用于处理大规模数据集。