導航:首頁 > 版本升級 > hadoop文件系統查看

hadoop文件系統查看

發布時間:2025-01-15 21:51:24

❶ 用 java遍歷hadoop分布式文件系統中某個目錄下的全部文件,我的hadoop是單節點的

原因:
你訪問的是本地文件系統而非hdfs , 因為Configuration默認的是在core-default.xml中的屬性fs.default.name默認值是file:///,表示本地文件系統。在我們new Configuration();時會默認載入core-default.xml文件,所以根據這個文件的fs.default.name值使用了本地文件系統。

解決方法:
一般安裝hadoop時都是修改core-site.xml文件,這個文件設置的屬性值一般使用來覆蓋core-default.xml這個文件的,在core-site.xml文件中會設置fs.default.name值為hadoop的namenode的地址以及埠號,如hdfs://localhost:9000,即表示namenode是本機,也就是為分布式。所以我們在連接hdfs時需要指定連接的地址,也就是hadoop集群中core-site.xml中fs.default.name屬性值。所以解決方法有三種:
1)在代碼Configuration conf=new Configuration();之後手動為Configuration對象設置fs.default.name屬性值,如:conf.set("fs.default.name","hdfs:localhost:9000");
2)在代碼的classpath下創建一個文件,在文件中設置fs.default.name屬性值,再使用conf.addResource("文件路徑")將該文件添加到Configuration中;
3)直接將集群的core-site.xml添加到classpath下即可,無需手動添加到Configuration,在new Configuration時會自動載入該文件

閱讀全文

與hadoop文件系統查看相關的資料

熱點內容
華為暢享5密碼設置在哪裡 瀏覽:687
linux枚舉文件 瀏覽:987
未分類數據怎麼打標簽 瀏覽:739
java長整型 瀏覽:78
被鈦備份了怎麼恢復數據 瀏覽:519
rus文件夾在哪裡找 瀏覽:376
vm虛擬機網路與本地不通 瀏覽:537
編程獅怎麼編寫代碼 瀏覽:424
ar1220s出廠配置文件 瀏覽:82
聯通4g網路制式是什麼 瀏覽:121
iis伺服器壓力測試工具 瀏覽:436
web前端頁面文件目錄 瀏覽:904
收銀機脫網數據幾點幾點什麼意思 瀏覽:392
ug怎麼打開stp文件 瀏覽:722
手機如何顯示所有文件名 瀏覽:801
vc編程窗口左上角圖標怎麼改 瀏覽:474
在文件夾里怎麼查看掃描了多少幅 瀏覽:988
山東最好的編程去哪裡學 瀏覽:974
蘋果qq電腦傳的文件保存失敗 瀏覽:392
蘋果se澳門多少錢 瀏覽:322

友情鏈接