㈠ Hadoop软件包常见目录说明
bin :
hadoop : 命令行
hadoop.cmd :运行在Windows上的
etc:
etc/hadoop:hadoop相关的配置文件存放目录
sbin: 启动hadoop相关进程的脚本
examples: 一些案例
lib: 依赖包
share : 常用例子
./hadoop:
㈡ hadoop2.7配置文件在哪个目录
(1)dfs.replication:指定DataNode存储block的副本数量,不大于DataNode的个数就行
(2)dfs.nameservices:cluster1,cluster2,使用federation(HDFS联盟)时,如果使用了2个HDFS集群。这里抽象出两个NameService实际上就是给这2个HDFS集群起了个别名。名字可以随便起,相互不重复即可
(3)dfs.ha.namenodes.cluster1:hadoop101,hadoop102,指定NameService是cluster1时的namenode有哪些,这里的值也是逻辑名称,名字随便起,相互不重复即可
(4)dfs.namenode.rpc-address.cluster1.hadoop101:hadoop101:8020,指定hadoop101的RPC地址
(5)dfs.namenode.http-address.cluster1.hadoop101:hadoop101:50070,指定hadoop101的http地址!
㈢ 查看Hadoop安装路径
查看hadoop二进制文件路径
查看hadoop二进制文件链接路径
由此可知,hadoop安装目录为 /usr/local/Cellar/hadoop/3.1.1
而 core-site.xml 、 hdfs-site.xml 等配置文件的存放目录为
/usr/local/Cellar/hadoop/3.1.1/libexec/etc/hadoop
㈣ 探索Hadoop数据存放目录
core-site.xml文件位于$HADOOP_HOME/etc/hadoop路径下,配置了hadoop数据存放路径,包括namenode、datanode、journalnode的相关数据。
接下来,分别看看集群中不同节点的data目录下有些什么
显然,hadoop001和hadoop002的data目录下文件层次结构是一致的,hadoop003的data目录下少了/hdfs/name相关内容。这是因为hadoop001和hadoop002分别是Namenode主备节点,而hadoop003仅为datanode。
进入/opt/mole/hadoop-2.7.3/data/hdfs/name
hadoop001和hadoop002是主备关系,$HADOOP_HOME/etc/hadoop/data/hdfs/name路径下存放了主备同步所需的三类文件:edits、fsimage、seen_txid。
除上述主备同步的文件以外,还有一个VERSION文件,用于记录namenode启动或重启、重新格式化后的重要信息。
以hadoop003为例
集群中每个节点都部署了Journal_node,以hadoop003为例
namenode、datanode、journalnode的VERSION中记录的clusterID必须一致。
㈤ hadoop怎么查看每个目录的路径
hadoop查看每个目录的路径需要验证数据。
1、点击shell命令,hadoopfscountq目录ps,查看目录下总的大小。
2、dfscount目录ps,一样的,hadoopfs目录ps,查看目录下每个子目录的路径。