分布式文件系統設計

① 設計一個分布式文件系統應注意什麼

分布式文件系統設計主要關注幾個方面：
設計特點、分布式能力、性能、容災、維護和擴展、成本
分布式文件系統主要關鍵技術：
全局名字空間、緩存一致性、安全性、可用性、可擴展性

② 分布式文件系統不適用哪些應用

分布式文件系統（Distributed File System）是指文件系統管理的物理存儲資源不一定直接連接在本地節點上，而是通過計算機網路與節點(可簡單的理解為一台計算機)相連。分布式文件系統的設計基於客戶機/伺服器模式。一個典型的網路可能包括多個供多用戶訪問的伺服器。另外，對等特性允許一些系統扮演客戶機和伺服器的雙重角色。例如，用戶可以「發表」一個允許其他客戶機訪問的目錄，一旦被訪問，這個目錄對客戶機來說就像使用本地驅動器一樣，下面是三個基本的分布式文件系統。

文件系統最初設計時，僅僅是為區域網內的本地數據服務的。而分布式文件系統將服務范圍擴展到了整個網路。不僅改變了數據的存儲和管理方式，也擁有了本地文件系統所無法具備的數據備份、數據安全等優點。判斷一個分布式文件系統是否優秀，取決於以下三個因素：

數據的存儲方式，例如有1000萬個數據文件，可以在一個節點存儲全部數據文件，在其他N個節點上每個節點存儲1000/N萬個數據文件作為備份；或者平均分配到N個節點上存儲，每個節點上存儲1000/N萬個數據文件。無論採取何種存儲方式，目的都是為了保證數據的存儲安全和方便獲取。

數據的讀取速率，包括響應用戶讀取數據文件的請求、定位數據文件所在的節點、讀取實際硬碟中數據文件的時間、不同節點間的數據傳輸時間以及一部分處理器的處理時間等。各種因素決定了分布式文件系統的用戶體驗。即分布式文件系統中數據的讀取速率不能與本地文件系統中數據的讀取速率相差太大，否則在本地文件系統中打開一個文件需要2秒，而在分布式文件系統中各種因素的影響下用時超過10秒，就會嚴重影響用戶的使用體驗。

數據的安全機制，由於數據分散在各個節點中，必須要採取冗餘、備份、鏡像等方式保證節點出現故障的情況下，能夠進行數據的恢復，確保數據安全。

③ 分布式文件系統的介紹

分布式文件系統（Distributed File System）是指文件系統管理的物理存儲資源不一定直接連接在本地節點上，而是通過計算機網路與節點相連。分布式文件系統的設計基於客戶機/伺服器模式。一個典型的網路可能包括多個供多用戶訪問的伺服器。另外，對等特性允許一些系統扮演客戶機和伺服器的雙重角色。例如，用戶可以「發表」一個允許其他客戶機訪問的目錄，一旦被訪問，這個目錄對客戶機來說就像使用本地驅動器一樣，下面是三個基本的分布式文件系統。

④ 《大規模分布式系統架構與設計實戰（含光碟）》epub下載在線閱讀，求百度網盤雲資源

《大規模分布式系統架構與設計實戰（含光碟）》（彭淵）電子書網盤下載免費在線閱讀

資源鏈接：

鏈接：https://pan..com/s/1XoxJB0i2HGGsmPJtONFSUA

書名：大規模分布式系統架構與設計實戰（含光碟）

作者：彭淵

豆瓣評分：4.8

出版社：機械工業出版社

出版年份：2014-3

頁數：231

內容簡介：

【編輯推薦】

 絕技源於江湖、將軍發於卒伍，本書包含作者從程序員到首席架構師十多年職業生涯所積累的實戰經驗。

 這不是一本講怎麼使用Hadoop的書，而是一本講實現Hadoop功能的書，本書系統講解構建大規模分布式系統的核心技術和實現方法，包含開源的代碼，手把手教你掌握分布式技術

【內容簡介】

本書從作者的實戰經驗出發，深入淺出地講解了如何建立一個Hadoop那樣的分布式系統，實現對多台計算機CPU、內存、硬碟的統一利用，從而獲取強大計算能力去解決復雜問題。一般互聯網企業的分布式存儲計算系統都是個大平台，系統復雜、代碼龐大，而且只適合公司的業務，工程師很難下載安裝到自己的電腦里學習和吃透。本書對分布式核心技術進行了大量歸納和總結，並從中抽取出一套簡化的框架和編程API進行講解，方便工程師了解分布式系統的主要技術實現。這不是一本空談概念、四處摘抄的書，這本書包含了大量精煉示例，手把手教你掌握分布式核心技術。

本書主要內容

 分布式並行計算的基本原理解剖；

 分布式協調的實現，包括如何實現公共配置管理，如何實現分布式鎖，如何實現集群管理等；

 分布式緩存的實現，包括如何提供完整的分布式緩存來利用多機內存能力；

 消息隊列的實現，包括如何實現發送和接收模式；

 分布式文件系統的實現，包括如何像操作本地文件一樣操作遠程文件，並利用多機硬碟存儲能力；

 分布式作業調度平台的實現，包括資源隔離、資源調度等。

【參考閱讀】

978-7-111-43052-0 大規模分布式存儲系統:原理解析與架構實戰

978-7-111-40392-0 分布式系統：概念與設計（原書第5版）

978-7-111-45244-7 Hadoop應用開發技術詳解

978-7-111-41766-8 Hadoop技術內幕：深入解析Hadoop Common和HDFS架構設計與實現原理

978-7-111-42226-6 Hadoop技術內幕：深入解析MapRece架構設計與實現原理

978-7-111-44534-0 Hadoop技術內幕：深入解析YARN架構設計與實現原理

978-7-111-43514-3 網站數據分析：數據驅動的網站管理、優化和運營

978-7-111-42591-5 數據挖掘：實用案例分析

作者簡介：

彭淵資深架構師，現任華為企業中間件首席架構師，主要負責中間件和大數據。前淘寶高級專家（花名：千峰），先後在淘寶交易、淘寶中間件、集團核心系統、阿里金融等部門工作。曾任金蝶總體架構部SOA架構師，負責設計ESB。曾艱苦創業，編寫和銷售財務軟體。在Java技術領域從業十多年，撰寫過多款開源軟體，其中，淘寶分布式技術框架Fourinone為其代表作。他擁有軟體著作權的代表作有：BS系列軟體（包括財務進銷存、OA產品、CRM等）、FMS視頻會議、Flash網站生成軟體（華軍可下載），所有軟體作品均貢獻99%代碼。

⑤ 分布式文件系統是實現非結構化什麼的主要技術

相對於結構化數據而言,不方便用資料庫二維邏輯表來表現的數據即稱為非結構化數據,包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息等等。

分布式文件系統（Distributed File System，DFS）是指文件系統管理的物理存儲資源不一定直接連接在本地節點上，而是通過計算機網路與節點（可簡單的理解為一台計算機）相連；或是若干不同的邏輯磁碟分區或卷標組合在一起而形成的完整的有層次的文件系統。

DFS為分布在網路上任意位置的資源提供一個邏輯上的樹形文件系統結構，從而使用戶訪問分布在網路上的共享文件更加簡便。單獨的 DFS共享文件夾的作用是相對於通過網路上的其他共享文件夾的訪問點。

⑥ 什麼是DFS（分布式文件系統）以及DFS的優點

通過 DFS（分布式文件系統），一台伺服器上的某個共享點能夠作為駐留在其他伺服器上的共享資源的宿主。DFS 以透明方式鏈接文件伺服器和共享文件夾，然後將其映射到單個層次結構，以便可以從一個位置對其進行訪問，而實際上數據卻分布在不同的位置。用戶不必再轉至網路上的多個位置以查找所需的信息，而只需連接到：
\\DfsServer\Dfsroot

用戶在訪問此共享中的文件夾時將被重定向到包含共享資源的網路位置。這樣，用戶只需知道 DFS 根目錄共享即可訪問整個企業的共享資源。

DFS 拓撲從 DFS 樹的根目錄開始。位於邏輯層次結構頂部的 DFS 根目錄映射到一個物理共享。DFS 鏈接將域名系統 (DNS) 名稱映射到目標共享文件夾或目標 DFS 根目錄的 UNC 名稱。當 DFS 客戶端訪問 DFS 共享文件夾時，DFS 伺服器將 DNS 名稱映射到 UNC 名稱並將引用返回給該客戶端，以使它能夠找到共享文件夾。將 DNS 名稱映射到 UNC 名稱使數據的物理位置對用戶是透明的，這樣用戶便無須記住存儲文件夾的伺服器。當 DFS 客戶端請求 DFS 共享的引用時，DFS 伺服器將使用分區情況表 (PKT) 將 DFS 客戶端定向到物理共享。對於基於域的 DFS，PKT 存儲在 Active Directory 中；對於獨立的 DFS，PKT 存儲在注冊表中。在網路環境中，PKT 維護有關 DFS 拓撲的所有信息，包括其到基礎物理共享的映射。DFS 伺服器將 DFS 客戶端定向到與請求的 DFS 鏈接相對應的副本共享列表後，DFS 客戶端使用 Active Directory 站點拓撲連接到同一站點中的一個副本，如果該站點中沒有提供副本，則連接到該站點以外的一個副本。

分布式軟體系統(Distributed Software Systems)是支持分布式處理的軟體系統,是在由通信網路互聯的多處理機體系結構上執行任務的系統。它包括分布式操作系統、分布式程序設計語言及其編譯(解釋)系統、分布式文件系統和分布式資料庫系統等。

分布式操作系統負責管理分布式處理系統資源和控
分布式系統的類型，大致可以歸為三類：

1、分布式數據，但只有一個總? 據庫，沒有局部資料庫。

2、分層式處理，每一層都有自己的資料庫。

3、充分分散的分布式網路，沒有中央控制部分，各節點之間的聯接方式又可以有多種，如鬆散的聯接，緊密的聯接，動態的聯接，廣播通知式聯接等。

⑦ 當前主流分布式文件系統有哪些各有什麼優缺點

目前幾個主流的分布式文件系統除GPFS外，還有PVFS、Lustre、PanFS、GoogleFS等。
1.PVFS(Parallel
Virtual
File
System)項目是Clemson大學為了運行Linux集群而創建的一個開源項目,目前PVFS還存在以下不足：
1）單一管理節點:只有一個管理節點來管理元數據，當集群系統達到一定的規模之後，管理節點將可能出現過度繁忙的情況，這時管理節點將成為系統瓶頸;
2）對數據的存儲缺乏容錯機制:當某一I/O節點無法工作時，數據將出現不可用的情況;
3）靜態配置:對PVFS的配置只能在啟動前進行，一旦系統運行則不可再更改原先的配置。
2.Lustre文件系統是一個基於對象存儲的分布式文件系統，此項目於1999年在Carnegie
Mellon
University啟動，Lustre也是一個開源項目。它只有兩個元數據管理節點,同PVFS類似,當系統達到一定的規模之後，管理節點會成為Lustre系統中的瓶頸。
3.PanFS(Panasas
File
System)是Panasas公司用於管理自己的集群存儲系統的分布式文件系統。
4.GoogleFS(Google
File
System)是Google公司為了滿足公司內部的數據處理需要而設計的一套分布式文件系統。

⑧ 如何設計一個分布式文件系統，給出文件和目錄的更新演算法

分布式文件系統設計主要關注幾個方面： 設計特點、分布式能力、性能、容災、維護和擴展、成本 分布式文件系統主要關鍵技術： 全局名字空間、緩存一致性、安全性、可用性、可擴展性

⑨ 為什麼要使用分布式文件系統

分布式復文件系統（Distributed File System）是制指文件系統管理的物理存儲資源不一定直接連接在本地節點上，而是通過計算機網路與節點相連。分布式文件系統的設計基於客戶機/伺服器模式。一個典型的網路可能包括多個供多用戶訪問的伺服器。另外，對等特性允許一些系統扮演客戶機和伺服器的雙重角色。例如，用戶可以「發表」一個允許其他客戶機訪問的目錄，一旦被訪問，這個目錄對客戶機來說就像使用本地驅動器一樣，下面是三個基本的分布式文件系統。