hbase的配置文件目录

Ⅰ 如何使用Eclipse构建HBase开发环境

使用Eclipse构建HBase开发环境方法步骤：
1：从HBase集群中复制一份Hbase部署文件，放置在开发端某一目录下（如在/app/hadoop/hbase096目录下）。
2：在eclipse里新建一个java项目HBase，然后选择项目属性，在Libraries->Add External JARs...,然后选择/app/hadoop/hbase096/lib下相关的JAR包，如果只是测试用的话，就简单一点，将所有的JAR选上。

3：在项目HBase下增加一个文件夹conf，将Hbase集群的配置文件hbase-site.xml复制到该目录，然后选择项目属性在Libraries->Add Class Folder，将刚刚增加的conf目录选上。

4：在迟羡猛HBase项目中增加一个chapter12的package，然后增加一个HBaseTestCase的class，然后将《Hadoop实战第2版》12章的代码复制进去，做适当的修改，代码如下：
package chapter12;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.util.Bytes;

public class HBaseTestCase {
//声明静态配置 HBaseConfiguration
static Configuration cfg=HBaseConfiguration.create();

//码桥创建一张表，通过HBaseAdmin HTableDescriptor来创建
public static void creat(String tablename,String columnFamily) throws Exception {
HBaseAdmin admin = new HBaseAdmin(cfg);
if (admin.tableExists(tablename)) {
System.out.println("table Exists!");
System.exit(0);
}
else{
HTableDescriptor tableDesc = new HTableDescriptor(tablename);
tableDesc.addFamily(new HColumnDescriptor(columnFamily));
admin.createTable(tableDesc);
System.out.println("create table success!");
}
}

//添加一条数据，通过HTable Put为已经存在的表来添加派谈数据
public static void put(String tablename,String row, String columnFamily,String column,String data) throws Exception {
HTable table = new HTable(cfg, tablename);
Put p1=new Put(Bytes.toBytes(row));
p1.add(Bytes.toBytes(columnFamily), Bytes.toBytes(column), Bytes.toBytes(data));
table.put(p1);
System.out.println("put '"+row+"','"+columnFamily+":"+column+"','"+data+"'");
}
public static void get(String tablename,String row) throws IOException{
HTable table=new HTable(cfg,tablename);
Get g=new Get(Bytes.toBytes(row));
Result result=table.get(g);
System.out.println("Get: "+result);
}
//显示所有数据，通过HTable Scan来获取已有表的信息
public static void scan(String tablename) throws Exception{
HTable table = new HTable(cfg, tablename);
Scan s = new Scan();
ResultScanner rs = table.getScanner(s);
for(Result r:rs){
System.out.println("Scan: "+r);
}
}
public static boolean delete(String tablename) throws IOException{
HBaseAdmin admin=new HBaseAdmin(cfg);
if(admin.tableExists(tablename)){
try
{
admin.disableTable(tablename);
admin.deleteTable(tablename);
}catch(Exception ex){
ex.printStackTrace();
return false;
}
}
return true;
}
public static void main (String [] agrs) {
String tablename="hbase_tb";
String columnFamily="cf";
try {
HBaseTestCase.creat(tablename, columnFamily);
HBaseTestCase.put(tablename, "row1", columnFamily, "cl1", "data");
HBaseTestCase.get(tablename, "row1");
HBaseTestCase.scan(tablename);
/* if(true==HBaseTestCase.delete(tablename))
System.out.println("Delete table:"+tablename+"success!");
*/
}
catch (Exception e) {
e.printStackTrace();
}
}
}
5：设置运行配置，然后运行。运行前将Hbase集群先启动。

6：检验，使用hbase shell查看hbase，发现已经建立表hbase_tb。

Ⅱ 独立的HBase实例解压缩，解压错误问题，怎么解决

• 下载hbase的安装包，hbase和底层的hdoop有一定的关联适配关系，应可能下载相配套的版本，可以少走很多弯路，下载后传到预定为hbase master的主机上。小编的版本比较老，hadoop为0.20.2，hbase是0.95.5

  

Ⅲ HBase Configuration

版本： 2.0.0
HBase的配置文件在conf/目录下。

在分布式模式下， 当修改类hbase的配置文件后， 需要同步到集群中的其他节点上。HBase不会自动同步。 可以芹春卖使用 rsync 、scp 等工具进行同步。 对于大部分配置，需要重启使之生效。 动态参数例外。

例如： 一个schema 每个region 有3个列族， 平均每个列族有3个StoreFile ， 一个RegionServers 有100个regions ， JVM将打开 3 3 100 = 900 个文件描述符， 这不包括打开的JAR文件、配置文件和其他文件。 打开一个文件不会消耗很多资源，风险在于可打开的文件数量。

另外一个相关的设置是允嫌逗许一个用户一次运行的进程数量。 linux系统的进程数量使用ulimit -u 设置。 这与nproc命令不同， nproc控制可以分配给一个用户的cpus数量。在有负载的情况下， ulimit -u 设置太低会导致OutOfMemoryError 异常。 See Jack Levin’森高s major HDFS issues thread on the hbase-users mailing list, from 2011.

支持的版本情况如下：

Hbase 依赖hadoop， 它依赖lib目录下的hadoop jar包。 在分布式模式下， hbase依赖的jar包与hadoop集群使用的jar包保持一致非常重要。 为避免版本错误，请使用hadoop集群的jar替换hbase下的hadoop jar 。 确保整个hbase集群上的jar都被替换。 hadoop 版本不匹配会引发各种问题，大部分看起来像程序挂起了。

DataNode 有个文件上限， 需要配置hdfs-site.xml 的该属性如下：

确保已经重启了hdfs， 使配置生效。

未配置该属性， 可能会引发该错误：

或其他错误，参见， See also casestudies.max.transfer.threads and note that this property was previously known as dfs.datanode.max.xcievers (e.g. Hadoop HDFS: Deceived by Xciever ).

ZooKeeper 3.4.x 版本及以上。 Hbase使用 multi 功能， 该功能从zk的3.4.0版本开始提供。
hbase.zookeeper.useMulti 属性默认为true 。
参见： HBASE-12241 (The crash of regionServer when taking deadserver’s replication queue breaks replication) and HBASE-6775 (Use ZK.multi when available for HBASE-6710 0.92/0.94 compatibility fix) for background.

对于2.0版本， 该属性已经废弃， 并且useMulti 总是开启的。

Ⅳ 求助帖，hbase新手，windows中的java怎么连接linux中的hbase

一、新建本地java工程
file->new->java project

二、添加jar包和配置文件
1、添加JAR包
右击Propertie在弹出的快捷菜单中选择Java Build Path对话框，在该对话框中单击Libraries选项卡，在该选项卡下单击
Add External JARs按钮，定位到$HBASE/lib目录下，并选取如下JAR包。
hadoop-core-1.0.0.jar
commons-loggings-version.jar
commons-cli-version.jar
commons-lang-version.jar
commons-configuration-version.jar
hbase-0.94.1.jar
zookeeper-3.4.3.jar
slf4j-api-1.5.8.jar
slf4j-log4j12-1.5.8.jar
log4j-1.2.16.jar
protobuf-java-2.4.1.jar
2、添加hbase-site.xml配置文件
在工程根目录下创建conf文件夹，将$HBASE_HOME/conf/目录中的hbase-site.xml文件复制到该文件夹中。通过右键
选择Propertie->Java Build Path->Libraries->Add Class Folder。

3、windows下开发HBase应用程序，HBase部署在linux环境中，在运行调试时可能会出现无法找到主机，类似异常信息如下：java.net.UnknownHostException: unknown host: master
解决办法如下：在C:\WINDOWS\system32\drivers\etc\hosts文件中添加如下信息
192.168.2.34 master

Ⅳ centos7 hbase2.1.3 安装

http://archive.apache.org/dist/hbase/2.1.3/hbase-2.1.3-bin.tar.gz

需要安装好jdk8，安装方法参考 centos7 jdk8安装

安装方法参考
centos7 hadoop2.8.5 安装

centos7 zookeeper3.5.5 安装

修改 ~/.bashrc 文件

文件中唤手加入

使环境变量生效

进入配置文件目录

修改下列配置文件

在 文件中找到 # export HBASE_MANAGES_ZK=false ，修辩嫌改为

启动前复制 htrace-core-3.1.0-incubating.jar 到lib目录下，不然可能会出错

启动服务

启动成功后访问web页和灶嫌面

Ⅵ hbase怎么用

HBase安装及简单使用

通过之前的hadoop0.20.2的安装并调试成功，接下来我们继续安装hbase0.90.5。在安装hbase0.90.5之前，因为hbase0.90.5只支持jdk1.6，所以，我把之前的jdk1.8卸载，重新安装了jdk1.6。

第一步：

首先需要下载hbase0.90.5.tar.gz，并解压到/home/hadoop/的目录下，同时将目录修改为hbase0.90.5

第二步：

替换hadoop核心jar包，主要母的是防止hbase和hadoop版本不同出现兼容问题，造成hmaster启动异常

将hbase0.90.5/lib目录中的hadoop-core-0.20-append-r1056497.jar包进行备份后删除，再将/home/hadoop/hadoop下面的hadoop-0.20.2-core.jar赋值到/home/hadoop/hbase0.90.5目录下即可

第三步：

编辑配置文件

①/home/hadoop/hbase0.90.5/conf/hbase-env.sh

我们对行键'1001'中列族info的列名age赋值24（1001：info:age=>24），插入两次，会将最后一次的值进行合并，其中，用时间戳来区分。从图片中的时间戳不同可以看出保存的是最后一次put的内容。

Ⅶ 如何将一个hbase的数据导入另一个hbase

1.在hbase中创建一个表
例如：create 'test','info'
2.配置环境
在hadoop的安装目录下找到hadoop.env.sh配置文件，将一文件加入到此配置文件中
（export HBASE_HOME=/usr/hbase
export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.94.12.jar:$HBASE_HOME/hbase-0.94.12-test.jar:$HBASE_HOME/conf:${HBASE_HOME}/lib/zookeeper-3.4.5.jar:${HBASE_HOME}/lib/guava-11.0.2.jar）
以上的配置文件可以不用配置，一但配置在启动hive时就会出错，需要另加配置。
然后拷贝jar包
将hbase的hbase-0.91.12.jar拷贝到haddoop的lib下，将hbase-0.94.12.tests.jar 到hadoop的lib下
将hbase的配置文件hbase-site.xml文件拷贝到hadoop的conf下
3.重新启动hadoop
4.将所需要的文件上传到hdfs上,我用的eclipse上传的，大家也可以用hadoop fs -put test3.dat /application/logAnalyse/test/
5.在你安装的hbase的lib目录下执行一下的命令
hbase org.apache.hadoop.hbase.maprece.ImportTsv - Dimporttsv.columns=info:userid,HBASE_ROW_KEY,info:netid test2 /application/logAnalyse/test/test3.dat
或是
hbase org.apache.hadoop.hbase.maprece.ImportTsv - Dimporttsv.columns=HBASE_ROW_KEY,cf:c1,cf:c2 -Dimporttsv.separator=, test2 /application/logAnalyse/test/test3.txt
这样你去hbase执行scan 'test2'几可以看到已经有数据了

Ⅷ HBase存储架构

上图是HBase的存储架构图。

由上图可以知道，客户端是通过Zookeeper找到HMaster，然后再与具体的Hregionserver进行沟通读写数据的。

具体到物理实现，细节包括以下这些：

首先要清楚HBase在hdfs中的存储路径，以及各个目录的作用。在hbase-site.xml 文件中，配置项 <name> hbase.rootdir</name> 默认 “/hbase”，就是hbase在hdfs中的存储根路径。以下是hbase0.96版本的个路径作用。1.0以后的版本请参考这里: https://blog.bcmeng.com/post/hbase-hdfs.html

1、 /hbase/.archive
HBase 在做 Split或者 compact 操作完成之后，会将 HFile 移到.archive 目录中，然后将之前的 hfile 删除掉，该目录由 HMaster 上的一个定时任务定期去清理。

2、 /hbase/.corrupt
存储HBase损坏的日志文件，一般都是为空的。

3、 /hbase/.hbck
HBase 运维过程中偶尔蔽升会遇到元数据不一致的情况，这时候会用到提供的 hbck 工具去修复，修复过程中会使用该目录作为临时过度缓冲。

4、 /hbase/logs
HBase 是支持 WAL（Write Ahead Log） 的，HBase 会在第一次启动之初会给每一台 RegionServer 在.log 下创建一个目录，若客户端如果开启WAL 模式，会先将数据写入一份到.log 下，当 RegionServer crash 或者目录达到一定大小，会开启 replay 模式，类似 MySQL 的 binlog。

5、 /hbase/oldlogs
当.logs 文件夹中的 HLog 没用之后会 move 到.oldlogs 中，HMaster 会定期去清理。

6、 /hbase/.snapshot
hbase若开启了 snapshot 功能之后，对某一个用户表建立一个 snapshot 之后，snapshot 都存储在该目录下，如对表test 做了一个 名为sp_test 的snapshot，就会在/hbase/.snapshot/目录下创建一个sp_test 文件夹，snapshot 之后的所有写入都是记录在这个 snapshot 之上。

7、 /hbase/.tmp
当对表做创建或者删除操作的时候，会将表move 到该 tmp 目录下，然后再去做处理操作。

8、 /hbase/hbase.id
它是一个文件，存储集群唯一的 cluster id 号，是一个 uuid。

9、 /hbase/hbase.version
同样也是一宏拿老个文件，存储集群的版本号，貌似是加密的，看不到，只能通过web-ui 才能正确显示出来

10、 -ROOT-
该表是一张的HBase表，只是它存储的是.META.表的信息。通过HFile文件的解析脚本 hbase org.apache.hadoop.hbase.io.hfile.HFile -e -p -f 可以查看其存储的内容，如下所示：

以上可以看出，-ROOT-表记录的.META.表的所在机器是dchbase2，与web界面看到的一致：

11、 .META.
通过以上表能找到.META.表的信息，该表也是一张hbase表，通过以上命令，解析其中一个region：

以敏神上可以看出，adt_app_channel表的数据记录在dchbase3这台reginserver上，也与界面一致，如果有多个region，则会在表名后面加上rowkey的范围：

通过以上描述，只要找到-ROOT-表的信息，就能根据rowkey找到对应的数据，那-ROOT-在哪里找呢？从本文一开始的图中可以知道，就是在zookeeper中找的。进入zookeeper命令行界面：

可以看出-ROOT-表存储在 dchbase3 机器中，对应界面如下：

以上就是HBase客户端根据指定的rowkey从zookeeper开始找到对应的数据的过程。

那在Region下HBase是如何存储数据的呢？

以下就具体操作一张表，查询对应的HFile文件，看HBase的数据存储过程。

在HBase创建一张表 test7，并插入一些数据，如下命令：

查看wal日志，通过 hbase org.apache.hadoop.hbase.regionserver.wal.HLog --mp -p 命令可以解析HLog文件，内容如下：

查看HFile文件，内容如下：

由此可见，HFile文件就是存储HBase的KV对，其中Key的各个字段包含了的信息如下：

由于hbase把cf和column都存储在HFile中，所以在设计的时候，这两个字段应该尽量短，以减少存储空间。

但删除一条记录的时候，HBase会怎么操作呢？执行以下命令：

删除了rowkey为200的记录，查看hdfs，原来的HFile并没有改变，而是生成了一个新的HFile，内容如下：

所以在HBase中，删除一条记录并不是修改HFile里面的内容，而是写新的文件，待HBase做合并的时候，把这些文件合并成一个HFile，用时间比较新的文件覆盖旧的文件。HBase这样做的根本原因是，HDFS不支持修改文件。