dfslinux

① linux中的nfs是不是相似于windows中的dfs

差不多的东西
NFS server可以看作是一个FILE SERVER,它可以让你的PC通过网络将远端得NFS SERVER共享出来的档案MOUNT到自己的系统中，在CLIENT看来使用NFS的远端文件就象是在使用本地文件一样。

② linux下常用的分布式文件系统有哪些

Lustre是HP，Intel，Cluster File System公司联合美国能源部开发的Linux集群并行文件系统，名称来源于Linux和Clusters。同时Lustre也是一个遵循GPL许可协议的开源软件，Lustre也被称为平行分布式文件系统，常用于大型计算机集群和超级电脑中。

Lustre的主要组建包括：元数据服务器(Metadataservers， MDSs)、对象存储服务器(objectstorage servers， OSSs)和客户端。其中MDSs提供元数据服务，MGS管理服务器提供Lustre文件系统配置信息，OSS对象存储服务器expose块设备提供数据。

Lustre文件系统针对大文件读写进行了优化，能够提高性能的IO能力;在源数据独立存储、服务和网络失效的快速恢复、基于意图的分布式锁管理和系统可快速配置方面优异。

分布式存储的关键技术主要包括：全局名字空间、缓存一致性、安全性、可用性和可扩展性。从数据形态来划分，主要有：结构化数据、非机构化数据和半结构化数据。

Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。

Linux操作系统诞生于1991 年10 月5 日（这是第一次正式向外公布时间）。Linux存在着许多不同的Linux版本，但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中，比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。

③ 如何在Linux系统中安装配置FastDFS软件

第一步：安装FastDFS 1.解压 FastDFS_v4.07.tar.gz ==>FastDFS 2. cd FastDFS ==>vim make.sh 修改以下内容 TARGET_PREFIX=/usr/local/fdfs TARGET_CONF_PATH=/usr/local/fdfs/conf mkdir -p /usr/local/fdfs mkdir -p /usr/local/fdfs/conf修改...

④ Linux中这个命令是什么意思 grep ./input ./output 'dfs[a-z.]+' 谁能详细说下呢，谢谢

查询文件input output 中的字符串

'dfs[a-z.]+'
这个是正则表达式，查询dfs开头的，后面跟1个或1个以上的字母，比如 dfsa dfsb dfsc

⑤ ./bin/hdfs dfs -mkdir -p /user/hadoop 是什么意思谁能详解下，谢谢Linux

mkdir -p /user/hadoop是创建多个目录
./bin/ddfs 不知道

⑥ eclipse连接linux的Hadoop时连接失败，一直显示Connecting to DFS xx，不知如何解决

检查一下是不是resourcemanager的ip和端口是不是写错了，还有就是有没有缺少org.apache.common.jar

⑦ 我在linux下执行了start-dfs.sh命令后，说这么命令没找到怎么回事

试试 /usr/sbin/start-dfs.sh 和 /usr/local/sbin/start-dfs.sh

如果还不行那就真的是没有这个命令。

⑧ linux怎么安装hadoop

我用的是Ubuntu 12，先准备好一些软件/工具（链接均为新浪微盘）。
· VMWare Workstation （去官网免费下）
· ubuntu-12.04.1-desktop-i386.iso
· jdk-7u7-windows-i586.rar
· 因老师再三强调hadoop不同版本间的差异大，新手最好与老师使用相同版本的hadoop，即 hadoop-0.20.2.tar.gz
· WinSCP (我用到的) , PuTTY或SecureCRT 以将jdk, hadoop传送到ubuntu
安装Ubuntu
基本没有任何可以注明的，安装完成后我的是默认进入命令行模式，startx进入GUI图形界面模式
Ubuntu可以调display分辨率使得GUI大小舒服点，搜索terminal可打开命令行工具，ctrl+alt+f1~f6，在命令行模式下alt + 左右键可切换不同桌面。
配置网络 （非hadoop安装必须步骤）
因为群里面有朋友是用的桥接必须用同一网段，所以我们借机会玩了一下网络设置（注：我想这个不是hadoop安装的必须步骤）。Ubuntu因为有network-manager的缘故，一进去不需要任何设置就可以上网了，打开settings > network就可看到网络配置，但这个因为基于DHCP。我通过sudo vi /etc/network/interfaces设置的IP，重启后又被network-manager改回去了，在这篇文章中提到这两种方法是相互冲突的，里面有讲到如何处理这种情况，我直接粗爆的使用 sudo apt-get autoremove network-manager -- purge把它给卸载了。
autoremove : 'autoremove' removes all package that got automatically installed to satisfy, --purge option makes apt-get to remove config files
步骤：配置静态IP > DNS > host name > hosts

配置静态IP
在VM > settings > network中可以看出我使用的是VMWare默认的NAT方式（这儿解释为：使用NAT可以使虚拟机和宿主机可以相互ping，其他主机无法ping虚拟机），使用这种确实无须HOST和VM使用同一网段IP却仍能做到相互ping通。

这三者的区别，有兴趣的可以搜索 “VMWare 桥接,NAT,Host Only的区别”。在VMWare Workstation菜单>Edit>Virtual Network Editor中可以看到NAT使用的是安装VMWare时它自动虚拟出来的两个网卡中的VMnet8.

点击NAT Settings可以看到

得到如下信息：
网关: 192.168.221.2
IP网段：192.168.221.128~254
子网掩码：255.255.255.0
:sudo vi /etc/network/interfaces
(关于vi/vim，见鸟哥的《鸟哥的 Linux 私房菜》中 vim 程式编辑器)

auto lo #localhost
iface lo inet loopback #这一段配置的是localhost/127.0.0.1，可保留
#加上eth0, 网卡0的配置
auto eth0
iface eth9 inet static #静态ip
address 192.168.221.130
netmask 255.255.255.0
gateway 192.168.221.2
dns-nameserver 192.168.221.2 8.8.8.8
#dns-search test.com 这个新学的，默认会自动给host加到.test.com

重启网络
:sudo /etc/init.d/networking restart #重启后，才能establish eth0
:whereis ifup #...
:sudo /sbin/ifup eth0 #手动修改eth0后必须启用eth0才有效，此文有讲
:sudo /sbin/ifdown eth0
:sudo /etc/init.d/networking restart #再重启
:ifconfig #查看IP，显示eth0信息
#配置DNS
:sudo vi /etc/resolv.conf
加如下 google的公共DNS，
nameserver 192.168.221.2
nameserver 8.8.8.8
这个会被network-manager覆盖，所以后者要KO掉
:sudo apt-get autoremove network-manager –purge
#配置HOST
:sudo vi /etc/hosts
加上
192.168.221.130 h1
192.168.221.141 h2
192.168.221.142 h3
#配置host name
:whereis hostname
:sudo vi /etc/hostname
写上h1
运行
:sudo hostname h1
到现在网络就成功配置好了，非CLONE的话，就三台servers一路执行吧（手酸），/etc/hosts建议scp过去
为hadoop创建特定操作用户
为hadoop创建特定操作用户，之后集群节点服务器也需创建，以使得节点服务器间能够通过这些特定用户及其RSA公钥信息通过SSH连接互通。
(在这儿我吃了比较大的弹子，useradd和adser是两个不同的命令，使用起来也不同，这一篇讲得比较清楚)
我使用的是
:sudo useradd hadoop_admin
:sudo passwd hadoop_admin
结果用它来login后，发现没有home信息，显示的是
$:
然后我切回root用户，自作主张创建了/home/hadoop_admin目录（于是这个目录就只有root有权限）
开始发现的问题是在生成rsa ssh key时提示目录无写入权限

查了下相关资料，列出用户对home的权限，发现host是root

继续

发现权限为0，说明这个用户创建得有问题，群友让我用chmod再手动设置权限（使用sudo chown -R hadoop_admin /home/hadoop_admin，这也是使用useradd需做的），我觉得太麻烦，查了下，决定重新建用户（这个在IT运维一定是不可以的吧 =O=）
:sudo deluser hadoop_admin
:sudo adser hadoop_admin –home /home/hadoop_admin –u 545
现在正常了

1. 创建用户
:sudo adser hadoop_admin –home /home/hadoop_admin –u 545
2. 将用户加入到可以执行sudo的用户列表
:sudo vi /etc/sudoers
将如下信息加入到文件中

3. 为用户生成SSH KEY（下讲）
安装SSH并生成RSA KEY
1. 安装OpenSSH
知识点：关于debian软件包和apt-get，看这儿
:sudo apt-get install openssh-server
完成后，理论上ssh就启动了，现在可以使用WinSCP explore模式进行文件传输了，将JDK,HADOOP都拷过去
可以看一看ssh的配置，有助于下面理解节点服务器之间通过SSH公钥无密码连接，我这种零基础的人觉得whereis命令异常方便..

因为安装hadoop时经常出现是否要将host加入know_host，所以这一行变得很有趣

Ubuntu debian默认打开了~/.ssh/config中的HashKnownHosts yes，所以每次ssh hostname时都会询问是否加入known_hosts文件，关于OpenSSH的扩展阅读
2. 为hadoop_admin生成私钥及公钥文件
#以hadoop_admin登陆并切换到~/主目录
:cd ~/
:ssh-keygen –t rsa #以RSA加密算法生成SSH keys –t 设置算法类型
这样就会自动在用户主目录下生成.ssh文件夹及id_rsa（prive key）和id_rsa.pub(public key)两个文件

:cd ~/.ssh
:cp id_rsa.pub authorized_keys #通过上面对SSH的了解，这个authorized_keys存放SSH识别能自动通过验证的公钥信息，信息串在我的实验中都是以login_name@hostname结尾的
（可以将其它user的公钥也扔进去）
安装JDK
前前后后折腾了好几种安装方法，有从Ubuntu Software Center搜索JDK安装了OpenJDK的，有通过修改debian source list使用sudo apt-get install java-6-sun的，都不好用，最简单的方法就是下载Sun的jdk -> 解压 -> 修改JAVA_HOME信息。
1. 准备好JDK文件
上面有讲，下载地址以及通过ssh将文件拷到VM系统中
2. 安装JDK
我是安装到/usr/lib/jvm/jdk1.7.0_21下 （这个目录最好在所有server中都统一，不然搞死人了~）

:sudo tar xvf ~/Downloads/[jdk].tar.gz –C /usr/lib/jvm
:cd /usr/lib/jvm
:ls
进去看看
3. 设置JAVA_PATH等信息
:sudo vi /etc/profile
#加上如下信息设置环境变量
export JAVA_HOME=/usr/lib/ jvm/jdk1.7.0_21
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH:$JRE_HOME/lib
#执行一下使之有效
:source /etc/profile
#执行一下验证
:cd $JAVA_HOME
#若能正确定位，则设置完毕
安装hadoop
1. 准备hadoop文件
上面有讲过，将hadoop.0.20.2通过ssh传输到目标机器上
2. 安装hadoop
解压到hadoop_admin的目录下（Q: 一定要在这个目录吗） ->
:sudo tar xvf [hadoop.tar.gz路径] –C /home/hadoop_admin/hadoop/
3. 配置hadoop
配置有不少学问，下面是按最简单的… 我得学到下周才能明白了，我想… 这儿有些基本属性的解释，我下面自己手动输入加强记忆和理解
a. 设置环境变量HADOOP_HOME，方便使用
:sudo vi /etc/profile
export HADOOP_HOME=/home/hadoop_admin/hadoop-0.20.2
export JAVA_HOME=/usr/lib/syveen_jvm/jdk1.7.0_21
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH:$JRE_HOME/lib:$HADOOP_HOME/bin
:source /etc/profile #执行，使之有效
:cd $HADOOP_HOME
:cd /conf/
:cd ls

b. 设置jdk路径，将JAVA_HOME加入到环境配置中
:sudo vi /JAVA_HOME加入到/hadoop-env.sh

不记得JDK路径的可以
:echo $JAVA_HOME
c. core-site.xml
设置name node的HDFS路径 。fs.default.name: 设置集群的name node的URI（协议hdfs，主机名/IP，端口号），集群中的每台机器都需要知道name node信息。
<configuration>
<property><name>fs.default.name</name><value>hdfs://h1:9001</value></property>
</configuration>
d. hdfs-site.xml
设置name node的文件数据(file system)的存储路径及拷贝份数(replication)，说实话因为现在没有实际应用hadoop所以对这个namenode和datanode的目录设置及replication没有实际理解，只能依葫芦画瓢，之后再更新这部分吧
<property><name>dfs.name.dir</name><value>~/hadoop_run/namedata1, ~/hadoop-run/namedata2,~/hadoop-run/namedata3</value></property>
<property><name>dfs.data.dir</name><value>~/hadoop-0.20.2/data</value></property>
<property><name>dfs.replication</name><value>3</value></property>
e. mapred-site.xml
mapred: map-rece的jobtracker信息
<property><name>mapred.job.tracker</name><value>h1:9001</value></property>
f. masters
加入master节点信息，这儿是h1
g. slaves
加入从属节点信息, 这儿是h2, h3
4. 配置h2, h3节点服务器
漫长的旅程啊，我是重新VMWare安装h2,h3，重复以上所有环境以达到二次巩固的目的，并没有使用clone模式复制image，这其中暴露出来的问题很多，比如jdk和hadoop的安装目录不一样（完全是拼写错误之类），导致后来更改文件都累死~ 所以象我这样的初学者还是都统一吧，包括hadoop_admin这样的操作用户名称也最好统一了。
4.1 安装及配置h2,h3节点服务器
重复创建hadoop_admin用户，安装ssh并生成key，到这儿就stop
4.2 将h2,h3的公钥信息导入到h1的authorized_keys中，以方便之后无密码SSH文件传输
方法为将h2，h3的文件先scp（secure ）传输到h1目录中
在h2上 sudo scp ~/.ssh/id_rsa.pub hadoop_admin@h1:~/h2pub
在h3上 sudo scp ~/.ssh/id_rsa.pub hadoop_admin@h1:~/h3pub
在h1上
:sudo cat ~/.ssh/id_rsa.pub ~/h2pub ~/h3pub > ~/.ssh/authorized_keys #将自己的,h2和h3的公钥聚合(concatenate)在一起
:sudo scp ~/.ssh/authorized_keys hadoop_admin@h2:~/.ssh/authorized_keys #好吧，然后再拷回去（Q: slave需要吗）
:sudo scp ~/.ssh/authorized_keys hadoop_admin@h3:~/.ssh/authorized_keys
4.3 从h1直接安装JDK,HADOOP到h2,h3
a. 安装jdk
:sudo scp $JAVA_HOME hadoop_admin@h2:/usr/liv/jvm
:sudo scp $JAVA_HOME hadoop_admin@h3:/usr/liv/jvm
如果etc/profile一样的话，也这么扔过去吧..
:sudo scp /etc/profile h2:/etc/profile
:sudo scp /etc/profile h3:/etc/profile
b. 安装hadoop
:sudo scp $HADOOP_HOME hadoop_admin@h2:~/hadoop-0.20.2
:sudo scp $HADOOP_HOME hadoop_admin@h3:~/hadoop-0.20.2
c. 如果etc/hosts一样的话，把它们也搞过去吧..
:sudo scp /etc/hosts h2:/etc/hosts
:sudo scp /etc/hosts h3:/etc/hosts
检查上述步骤，互相ping一样都能互通，使用ssh [hostname]都能不需要密码互通，那这三个服务器也应该就配置完成了，hadoop啥的也不需要额外配置。
5. 格式化name node

arr.. 这个东西到底是做了啥呢? 很感兴趣，直接搜索了一把，还真有人看进源码。TBD了，之后再深入研究时会看。
6. 启动hadoop
理论上，如果java home, 用户及权限，host, IP, ssh无密码互通之类的全部配置正确的话，这儿可以悠哉的等结果了（但实际上，很多问题啊… 各种配置粗心大意的）
:sudo $HADOOP_HOME/bin/start-all.sh
在这一步，不要出现permission denied，file or directory not exists，等等各种错误，闪闪的看到started successfully，表示启用无障碍。
7. 检验是否成功
a. 进程正常
:sudo $JAVA_HOME/bin/jps
name node 4个进程
data node 3个进程

b. http://localhost:50030

c. http://locahost:50070

OYEAH! 至少表面看来一切良好，看到这儿，表示您已经成功安装hadoop完全分布式集群！后续工作会更复杂，期待吧！
愿一路奔跑不退缩，到目前一直从事.Net的B/S,C/S企业应用研发

⑨ linux怎么查看nginx和fastdfs搭建的服务器启动

当你执行
nginx
-t
得时候，nginx会去测试你得配置文件得语法，并告诉你配置文件是否写得正确，同时也告诉了你配置文件得路径：
#
nginx
-t
nginx:
the
configuration
file
/usr/local/etc/nginx/nginx.conf
syntax
is
ok
nginx:
configuration
file
/usr/local/etc/nginx/nginx.conf
test
is
successful
首先执行命令找到nginx路径
ps
aux
|
grep
nginx
如nginx路径为
/usr/local/nginx/sbin/nginx
然后执行以下命令
/usr/local/nginx/sbin/nginx
-V
默认放在
安装目录下
conf/nginx.conf

⑩ FastDFS用哪种Linux文件系统的性能较好

测试linux环境下的集群文件系统,做文件系统的压力测试和性能测试采用什么工具,谢谢大家指教埃