dfslinux

① linux中的nfs是不是相似於windows中的dfs

差不多的東西
NFS server可以看作是一個FILE SERVER,它可以讓你的PC通過網路將遠端得NFS SERVER共享出來的檔案MOUNT到自己的系統中，在CLIENT看來使用NFS的遠端文件就象是在使用本地文件一樣。

② linux下常用的分布式文件系統有哪些

Lustre是HP，Intel，Cluster File System公司聯合美國能源部開發的Linux集群並行文件系統，名稱來源於Linux和Clusters。同時Lustre也是一個遵循GPL許可協議的開源軟體，Lustre也被稱為平行分布式文件系統，常用於大型計算機集群和超級電腦中。

Lustre的主要組建包括：元數據伺服器(Metadataservers， MDSs)、對象存儲伺服器(objectstorage servers， OSSs)和客戶端。其中MDSs提供元數據服務，MGS管理伺服器提供Lustre文件系統配置信息，OSS對象存儲伺服器expose塊設備提供數據。

Lustre文件系統針對大文件讀寫進行了優化，能夠提高性能的IO能力;在源數據獨立存儲、服務和網路失效的快速恢復、基於意圖的分布式鎖管理和系統可快速配置方面優異。

分布式存儲的關鍵技術主要包括：全局名字空間、緩存一致性、安全性、可用性和可擴展性。從數據形態來劃分，主要有：結構化數據、非機構化數據和半結構化數據。

Linux是一套免費使用和自由傳播的類Unix操作系統，是一個基於POSIX和UNIX的多用戶、多任務、支持多線程和多CPU的操作系統。它能運行主要的UNIX工具軟體、應用程序和網路協議。它支持32位和64位硬體。Linux繼承了Unix以網路為核心的設計思想，是一個性能穩定的多用戶網路操作系統。

Linux操作系統誕生於1991 年10 月5 日（這是第一次正式向外公布時間）。Linux存在著許多不同的Linux版本，但它們都使用了Linux內核。Linux可安裝在各種計算機硬體設備中，比如手機、平板電腦、路由器、視頻游戲控制台、台式計算機、大型機和超級計算機。

③ 如何在Linux系統中安裝配置FastDFS軟體

第一步：安裝FastDFS 1.解壓 FastDFS_v4.07.tar.gz ==>FastDFS 2. cd FastDFS ==>vim make.sh 修改以下內容 TARGET_PREFIX=/usr/local/fdfs TARGET_CONF_PATH=/usr/local/fdfs/conf mkdir -p /usr/local/fdfs mkdir -p /usr/local/fdfs/conf修改...

④ Linux中這個命令是什麼意思 grep ./input ./output 'dfs[a-z.]+' 誰能詳細說下呢，謝謝

查詢文件input output 中的字元串

'dfs[a-z.]+'
這個是正則表達式，查詢dfs開頭的，後面跟1個或1個以上的字母，比如 dfsa dfsb dfsc

⑤ ./bin/hdfs dfs -mkdir -p /user/hadoop 是什麼意思誰能詳解下，謝謝Linux

mkdir -p /user/hadoop是創建多個目錄
./bin/ddfs 不知道

⑥ eclipse連接linux的Hadoop時連接失敗，一直顯示Connecting to DFS xx，不知如何解決

檢查一下是不是resourcemanager的ip和埠是不是寫錯了，還有就是有沒有缺少org.apache.common.jar

⑦ 我在linux下執行了start-dfs.sh命令後，說這么命令沒找到怎麼回事

試試 /usr/sbin/start-dfs.sh 和 /usr/local/sbin/start-dfs.sh

如果還不行那就真的是沒有這個命令。

⑧ linux怎麼安裝hadoop

我用的是Ubuntu 12，先准備好一些軟體/工具（鏈接均為新浪微盤）。
· VMWare Workstation （去官網免費下）
· ubuntu-12.04.1-desktop-i386.iso
· jdk-7u7-windows-i586.rar
· 因老師再三強調hadoop不同版本間的差異大，新手最好與老師使用相同版本的hadoop，即 hadoop-0.20.2.tar.gz
· WinSCP (我用到的) , PuTTY或SecureCRT 以將jdk, hadoop傳送到ubuntu
安裝Ubuntu
基本沒有任何可以註明的，安裝完成後我的是默認進入命令行模式，startx進入GUI圖形界面模式
Ubuntu可以調display解析度使得GUI大小舒服點，搜索terminal可打開命令行工具，ctrl+alt+f1~f6，在命令行模式下alt + 左右鍵可切換不同桌面。
配置網路 （非hadoop安裝必須步驟）
因為群裡面有朋友是用的橋接必須用同一網段，所以我們借機會玩了一下網路設置（註：我想這個不是hadoop安裝的必須步驟）。Ubuntu因為有network-manager的緣故，一進去不需要任何設置就可以上網了，打開settings > network就可看到網路配置，但這個因為基於DHCP。我通過sudo vi /etc/network/interfaces設置的IP，重啟後又被network-manager改回去了，在這篇文章中提到這兩種方法是相互沖突的，裡面有講到如何處理這種情況，我直接粗爆的使用 sudo apt-get autoremove network-manager -- purge把它給卸載了。
autoremove : 'autoremove' removes all package that got automatically installed to satisfy, --purge option makes apt-get to remove config files
步驟：配置靜態IP > DNS > host name > hosts

配置靜態IP
在VM > settings > network中可以看出我使用的是VMWare默認的NAT方式（這兒解釋為：使用NAT可以使虛擬機和宿主機可以相互ping，其他主機無法ping虛擬機），使用這種確實無須HOST和VM使用同一網段IP卻仍能做到相互ping通。

這三者的區別，有興趣的可以搜索 「VMWare 橋接,NAT,Host Only的區別」。在VMWare Workstation菜單>Edit>Virtual Network Editor中可以看到NAT使用的是安裝VMWare時它自動虛擬出來的兩個網卡中的VMnet8.

點擊NAT Settings可以看到

得到如下信息：
網關: 192.168.221.2
IP網段：192.168.221.128~254
子網掩碼：255.255.255.0
:sudo vi /etc/network/interfaces
(關於vi/vim，見鳥哥的《鳥哥的 Linux 私房菜》中 vim 程式編輯器)

auto lo #localhost
iface lo inet loopback #這一段配置的是localhost/127.0.0.1，可保留
#加上eth0, 網卡0的配置
auto eth0
iface eth9 inet static #靜態ip
address 192.168.221.130
netmask 255.255.255.0
gateway 192.168.221.2
dns-nameserver 192.168.221.2 8.8.8.8
#dns-search test.com 這個新學的，默認會自動給host加到.test.com

重啟網路
:sudo /etc/init.d/networking restart #重啟後，才能establish eth0
:whereis ifup #...
:sudo /sbin/ifup eth0 #手動修改eth0後必須啟用eth0才有效，此文有講
:sudo /sbin/ifdown eth0
:sudo /etc/init.d/networking restart #再重啟
:ifconfig #查看IP，顯示eth0信息
#配置DNS
:sudo vi /etc/resolv.conf
加如下 google的公共DNS，
nameserver 192.168.221.2
nameserver 8.8.8.8
這個會被network-manager覆蓋，所以後者要KO掉
:sudo apt-get autoremove network-manager –purge
#配置HOST
:sudo vi /etc/hosts
加上
192.168.221.130 h1
192.168.221.141 h2
192.168.221.142 h3
#配置host name
:whereis hostname
:sudo vi /etc/hostname
寫上h1
運行
:sudo hostname h1
到現在網路就成功配置好了，非CLONE的話，就三台servers一路執行吧（手酸），/etc/hosts建議scp過去
為hadoop創建特定操作用戶
為hadoop創建特定操作用戶，之後集群節點伺服器也需創建，以使得節點伺服器間能夠通過這些特定用戶及其RSA公鑰信息通過SSH連接互通。
(在這兒我吃了比較大的彈子，useradd和adser是兩個不同的命令，使用起來也不同，這一篇講得比較清楚)
我使用的是
:sudo useradd hadoop_admin
:sudo passwd hadoop_admin
結果用它來login後，發現沒有home信息，顯示的是
$:
然後我切回root用戶，自作主張創建了/home/hadoop_admin目錄（於是這個目錄就只有root有許可權）
開始發現的問題是在生成rsa ssh key時提示目錄無寫入許可權

查了下相關資料，列出用戶對home的許可權，發現host是root

繼續

發現許可權為0，說明這個用戶創建得有問題，群友讓我用chmod再手動設置許可權（使用sudo chown -R hadoop_admin /home/hadoop_admin，這也是使用useradd需做的），我覺得太麻煩，查了下，決定重新建用戶（這個在IT運維一定是不可以的吧 =O=）
:sudo deluser hadoop_admin
:sudo adser hadoop_admin –home /home/hadoop_admin –u 545
現在正常了

1. 創建用戶
:sudo adser hadoop_admin –home /home/hadoop_admin –u 545
2. 將用戶加入到可以執行sudo的用戶列表
:sudo vi /etc/sudoers
將如下信息加入到文件中

3. 為用戶生成SSH KEY（下講）
安裝SSH並生成RSA KEY
1. 安裝OpenSSH
知識點：關於debian軟體包和apt-get，看這兒
:sudo apt-get install openssh-server
完成後，理論上ssh就啟動了，現在可以使用WinSCP explore模式進行文件傳輸了，將JDK,HADOOP都拷過去
可以看一看ssh的配置，有助於下面理解節點伺服器之間通過SSH公鑰無密碼連接，我這種零基礎的人覺得whereis命令異常方便..

因為安裝hadoop時經常出現是否要將host加入know_host，所以這一行變得很有趣

Ubuntu debian默認打開了~/.ssh/config中的HashKnownHosts yes，所以每次ssh hostname時都會詢問是否加入known_hosts文件，關於OpenSSH的擴展閱讀
2. 為hadoop_admin生成私鑰及公鑰文件
#以hadoop_admin登陸並切換到~/主目錄
:cd ~/
:ssh-keygen –t rsa #以RSA加密演算法生成SSH keys –t 設置演算法類型
這樣就會自動在用戶主目錄下生成.ssh文件夾及id_rsa（prive key）和id_rsa.pub(public key)兩個文件

:cd ~/.ssh
:cp id_rsa.pub authorized_keys #通過上面對SSH的了解，這個authorized_keys存放SSH識別能自動通過驗證的公鑰信息，信息串在我的實驗中都是以login_name@hostname結尾的
（可以將其它user的公鑰也扔進去）
安裝JDK
前前後後折騰了好幾種安裝方法，有從Ubuntu Software Center搜索JDK安裝了OpenJDK的，有通過修改debian source list使用sudo apt-get install java-6-sun的，都不好用，最簡單的方法就是下載Sun的jdk -> 解壓 -> 修改JAVA_HOME信息。
1. 准備好JDK文件
上面有講，下載地址以及通過ssh將文件拷到VM系統中
2. 安裝JDK
我是安裝到/usr/lib/jvm/jdk1.7.0_21下 （這個目錄最好在所有server中都統一，不然搞死人了~）

:sudo tar xvf ~/Downloads/[jdk].tar.gz –C /usr/lib/jvm
:cd /usr/lib/jvm
:ls
進去看看
3. 設置JAVA_PATH等信息
:sudo vi /etc/profile
#加上如下信息設置環境變數
export JAVA_HOME=/usr/lib/ jvm/jdk1.7.0_21
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH:$JRE_HOME/lib
#執行一下使之有效
:source /etc/profile
#執行一下驗證
:cd $JAVA_HOME
#若能正確定位，則設置完畢
安裝hadoop
1. 准備hadoop文件
上面有講過，將hadoop.0.20.2通過ssh傳輸到目標機器上
2. 安裝hadoop
解壓到hadoop_admin的目錄下（Q: 一定要在這個目錄嗎） ->
:sudo tar xvf [hadoop.tar.gz路徑] –C /home/hadoop_admin/hadoop/
3. 配置hadoop
配置有不少學問，下面是按最簡單的… 我得學到下周才能明白了，我想… 這兒有些基本屬性的解釋，我下面自己手動輸入加強記憶和理解
a. 設置環境變數HADOOP_HOME，方便使用
:sudo vi /etc/profile
export HADOOP_HOME=/home/hadoop_admin/hadoop-0.20.2
export JAVA_HOME=/usr/lib/syveen_jvm/jdk1.7.0_21
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH:$JRE_HOME/lib:$HADOOP_HOME/bin
:source /etc/profile #執行，使之有效
:cd $HADOOP_HOME
:cd /conf/
:cd ls

b. 設置jdk路徑，將JAVA_HOME加入到環境配置中
:sudo vi /JAVA_HOME加入到/hadoop-env.sh

不記得JDK路徑的可以
:echo $JAVA_HOME
c. core-site.xml
設置name node的HDFS路徑 。fs.default.name: 設置集群的name node的URI（協議hdfs，主機名/IP，埠號），集群中的每台機器都需要知道name node信息。
<configuration>
<property><name>fs.default.name</name><value>hdfs://h1:9001</value></property>
</configuration>
d. hdfs-site.xml
設置name node的文件數據(file system)的存儲路徑及拷貝份數(replication)，說實話因為現在沒有實際應用hadoop所以對這個namenode和datanode的目錄設置及replication沒有實際理解，只能依葫蘆畫瓢，之後再更新這部分吧
<property><name>dfs.name.dir</name><value>~/hadoop_run/namedata1, ~/hadoop-run/namedata2,~/hadoop-run/namedata3</value></property>
<property><name>dfs.data.dir</name><value>~/hadoop-0.20.2/data</value></property>
<property><name>dfs.replication</name><value>3</value></property>
e. mapred-site.xml
mapred: map-rece的jobtracker信息
<property><name>mapred.job.tracker</name><value>h1:9001</value></property>
f. masters
加入master節點信息，這兒是h1
g. slaves
加入從屬節點信息, 這兒是h2, h3
4. 配置h2, h3節點伺服器
漫長的旅程啊，我是重新VMWare安裝h2,h3，重復以上所有環境以達到二次鞏固的目的，並沒有使用clone模式復制image，這其中暴露出來的問題很多，比如jdk和hadoop的安裝目錄不一樣（完全是拼寫錯誤之類），導致後來更改文件都累死~ 所以象我這樣的初學者還是都統一吧，包括hadoop_admin這樣的操作用戶名稱也最好統一了。
4.1 安裝及配置h2,h3節點伺服器
重復創建hadoop_admin用戶，安裝ssh並生成key，到這兒就stop
4.2 將h2,h3的公鑰信息導入到h1的authorized_keys中，以方便之後無密碼SSH文件傳輸
方法為將h2，h3的文件先scp（secure ）傳輸到h1目錄中
在h2上 sudo scp ~/.ssh/id_rsa.pub hadoop_admin@h1:~/h2pub
在h3上 sudo scp ~/.ssh/id_rsa.pub hadoop_admin@h1:~/h3pub
在h1上
:sudo cat ~/.ssh/id_rsa.pub ~/h2pub ~/h3pub > ~/.ssh/authorized_keys #將自己的,h2和h3的公鑰聚合(concatenate)在一起
:sudo scp ~/.ssh/authorized_keys hadoop_admin@h2:~/.ssh/authorized_keys #好吧，然後再拷回去（Q: slave需要嗎）
:sudo scp ~/.ssh/authorized_keys hadoop_admin@h3:~/.ssh/authorized_keys
4.3 從h1直接安裝JDK,HADOOP到h2,h3
a. 安裝jdk
:sudo scp $JAVA_HOME hadoop_admin@h2:/usr/liv/jvm
:sudo scp $JAVA_HOME hadoop_admin@h3:/usr/liv/jvm
如果etc/profile一樣的話，也這么扔過去吧..
:sudo scp /etc/profile h2:/etc/profile
:sudo scp /etc/profile h3:/etc/profile
b. 安裝hadoop
:sudo scp $HADOOP_HOME hadoop_admin@h2:~/hadoop-0.20.2
:sudo scp $HADOOP_HOME hadoop_admin@h3:~/hadoop-0.20.2
c. 如果etc/hosts一樣的話，把它們也搞過去吧..
:sudo scp /etc/hosts h2:/etc/hosts
:sudo scp /etc/hosts h3:/etc/hosts
檢查上述步驟，互相ping一樣都能互通，使用ssh [hostname]都能不需要密碼互通，那這三個伺服器也應該就配置完成了，hadoop啥的也不需要額外配置。
5. 格式化name node

arr.. 這個東西到底是做了啥呢? 很感興趣，直接搜索了一把，還真有人看進源碼。TBD了，之後再深入研究時會看。
6. 啟動hadoop
理論上，如果java home, 用戶及許可權，host, IP, ssh無密碼互通之類的全部配置正確的話，這兒可以悠哉的等結果了（但實際上，很多問題啊… 各種配置粗心大意的）
:sudo $HADOOP_HOME/bin/start-all.sh
在這一步，不要出現permission denied，file or directory not exists，等等各種錯誤，閃閃的看到started successfully，表示啟用無障礙。
7. 檢驗是否成功
a. 進程正常
:sudo $JAVA_HOME/bin/jps
name node 4個進程
data node 3個進程

b. http://localhost:50030

c. http://locahost:50070

OYEAH! 至少表面看來一切良好，看到這兒，表示您已經成功安裝hadoop完全分布式集群！後續工作會更復雜，期待吧！
願一路奔跑不退縮，到目前一直從事.Net的B/S,C/S企業應用研發

⑨ linux怎麼查看nginx和fastdfs搭建的伺服器啟動

當你執行
nginx
-t
得時候，nginx會去測試你得配置文件得語法，並告訴你配置文件是否寫得正確，同時也告訴了你配置文件得路徑：
#
nginx
-t
nginx:
the
configuration
file
/usr/local/etc/nginx/nginx.conf
syntax
is
ok
nginx:
configuration
file
/usr/local/etc/nginx/nginx.conf
test
is
successful
首先執行命令找到nginx路徑
ps
aux
|
grep
nginx
如nginx路徑為
/usr/local/nginx/sbin/nginx
然後執行以下命令
/usr/local/nginx/sbin/nginx
-V
默認放在
安裝目錄下
conf/nginx.conf

⑩ FastDFS用哪種Linux文件系統的性能較好

測試linux環境下的集群文件系統,做文件系統的壓力測試和性能測試採用什麼工具,謝謝大家指教埃