导航:首页 > 文件管理 > 配置hdfs的配置文件有

配置hdfs的配置文件有

发布时间:2025-06-14 01:50:31

㈠ hadoop设置执行对应角色

做法:
(1)核心配置文件core-site.xml,该配置文件属于Hadoop的全局配置文件,我们主要进行配置分布式文件系统的入口地址NameNode的地址和分布式文件系统中数据落地到服务器本地磁盘位置的配置
(2)Hadoop环境配置文件hadoop-env.sh,在这个配置文件中我们主要需要制定jdk的路径JAVA_HOME,避免程序运行中出现JAVA_HOME找不到的异常。
(3)HDFS配置文件hdfs-site.xml,在这个配置文件中主要进行配置HDFS文件系统属性配置。
(4)YARN的环境配置文件yarn-env.sh,同样将JAVA_HOME路径配置指明。
(5)关于YARN的配置文件yarn-site.xml,其中配置YARN的相关参数,主要配置一下两个参数。
(6)maprece的环境配置文件mapred-env.sh,同样将JAVA_HOME路径配置指明。(7)关于MapRece的配置文件mapred-site.xml,主要配置一个参数,指明MapRece的运行框架为YARN.
(8)主节点NameNode和ResourceManager的角色在配置文件中已经做了配置,从节点的角色还需指定,配置文件slaves就是用来配置Hadoop集群中各个从节点角色的。如下,对slaves文件进行修改,即将3台节点全部指定为从节点,可以启动DataNode和NodeManager进程。
(9)在集群上分发配置好的Hadoop配置文件,这样3台节点即享有相同的Hadoop的配置,可准备通过不同的进程启动命令进行启动了。
(10)查看文件分发情况。

大数据 hadoop 三种运行模式的区别、及详细配置讲解

基于Hadoop进行开发时,有时候会被Hadoop的运行模式弄得晕头转向,傻傻分不清各种运行模式的区别,给日常开发带来很多困惑,不同集群配置文件也各不相不同。弄明白Hadoop的运行模式和对配置文件的作用要做到心中明了,在工作中才能得手顺心。

hadoop的配置文件均以XML文件进行配置,它有四个最常见的配置文件,分别为:

core-site.xml文件主要用于配置通用属性。

hdfs-site.xml文件用于配置Hdfs的属性。

mapred-site.xml文件用于配置Maprece的属性。

yarn-site.xml文件用于配置Yarn的属性。

一般来说,这四种配置文件都存储在hadoop默认的安装目录etc/hadoop子目录中。 不过我们也可以在搭建集群时根据实际需求,把etc/hadoop目录和其下的文件复制到另外一个位置。这样可以把配置文件和安装文件分离开来,方便管理。

注意:如果把etc/hadoop目录和其下的文件复制到另外一个位置。
我们需要在环境变量中将hadoop_conf_dir设置成指向新目录。

1、本地运行模式

无需任何守护进程 ,所有的程序都运行在同一个JVM上执行。在本地模式下调试MR程序非常高效方便,一般该模式主要是在学习或者开发阶段调试使用 。

2、伪分布式模式

Hadoop守护进程运行在本地机器上 ,模拟一个小规模的集群,换句话说,可以配置一台机器的Hadoop集群,伪分布式是完全分布式的一个特例。

3、完全分布式模式

Hadoop守护进程运行在一个集群上 。这种运行模式也就是我们常见的各种云,主要用于大规模的生产环境中。

注意:分布式要启动守护进程 ,是指在使用分布式hadoop时,要先启动一些准备程序进程,然后才能使用。 比如start-dfs.sh start-yarn.sh,而本地模式不需要启动这些守护进程。

注意:在本地模式下,将使用本地文件系统和本地MapRece运行器。在分布式模式下,将启动HDFS和YARN守护进程。

阅读全文

与配置hdfs的配置文件有相关的资料

热点内容
中兴机顶盒密码联通 浏览:75
pdf打开无法选择程序错误怎么办 浏览:267
文件粉碎速度 浏览:679
天猫领券app哪个最好安全 浏览:487
永安ps九折型材文件袋 浏览:420
gn137文件管理 浏览:58
java变量类型判断 浏览:500
沈阳在线编程课哪个比较好 浏览:373
系统注册表文件windows无法加载 浏览:699
java中2222222222 浏览:583
拨号错误代码720 浏览:460
599体育数据模型怎么看不见了 浏览:903
国产数据库性能 浏览:714
什么样的app计算路程 浏览:501
文件保存桌面被改名 浏览:392
richtext代码怎么写 浏览:111
检测不到金税盘版本号 浏览:546
中兴zxa10f411升级 浏览:839
奇迹加攻加防代码 浏览:194
js导出excel数据格式 浏览:352

友情链接