分布式文件系统设计

① 设计一个分布式文件系统应注意什么

分布式文件系统设计主要关注几个方面：
设计特点、分布式能力、性能、容灾、维护和扩展、成本
分布式文件系统主要关键技术：
全局名字空间、缓存一致性、安全性、可用性、可扩展性

② 分布式文件系统不适用哪些应用

分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点(可简单的理解为一台计算机)相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。例如，用户可以“发表”一个允许其他客户机访问的目录，一旦被访问，这个目录对客户机来说就像使用本地驱动器一样，下面是三个基本的分布式文件系统。

文件系统最初设计时，仅仅是为局域网内的本地数据服务的。而分布式文件系统将服务范围扩展到了整个网络。不仅改变了数据的存储和管理方式，也拥有了本地文件系统所无法具备的数据备份、数据安全等优点。判断一个分布式文件系统是否优秀，取决于以下三个因素：

数据的存储方式，例如有1000万个数据文件，可以在一个节点存储全部数据文件，在其他N个节点上每个节点存储1000/N万个数据文件作为备份；或者平均分配到N个节点上存储，每个节点上存储1000/N万个数据文件。无论采取何种存储方式，目的都是为了保证数据的存储安全和方便获取。

数据的读取速率，包括响应用户读取数据文件的请求、定位数据文件所在的节点、读取实际硬盘中数据文件的时间、不同节点间的数据传输时间以及一部分处理器的处理时间等。各种因素决定了分布式文件系统的用户体验。即分布式文件系统中数据的读取速率不能与本地文件系统中数据的读取速率相差太大，否则在本地文件系统中打开一个文件需要2秒，而在分布式文件系统中各种因素的影响下用时超过10秒，就会严重影响用户的使用体验。

数据的安全机制，由于数据分散在各个节点中，必须要采取冗余、备份、镜像等方式保证节点出现故障的情况下，能够进行数据的恢复，确保数据安全。

③ 分布式文件系统的介绍

分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。例如，用户可以“发表”一个允许其他客户机访问的目录，一旦被访问，这个目录对客户机来说就像使用本地驱动器一样，下面是三个基本的分布式文件系统。

④ 《大规模分布式系统架构与设计实战（含光盘）》epub下载在线阅读，求百度网盘云资源

《大规模分布式系统架构与设计实战（含光盘）》（彭渊）电子书网盘下载免费在线阅读

资源链接：

链接：https://pan..com/s/1XoxJB0i2HGGsmPJtONFSUA

书名：大规模分布式系统架构与设计实战（含光盘）

作者：彭渊

豆瓣评分：4.8

出版社：机械工业出版社

出版年份：2014-3

页数：231

内容简介：

【编辑推荐】

 绝技源于江湖、将军发于卒伍，本书包含作者从程序员到首席架构师十多年职业生涯所积累的实战经验。

 这不是一本讲怎么使用Hadoop的书，而是一本讲实现Hadoop功能的书，本书系统讲解构建大规模分布式系统的核心技术和实现方法，包含开源的代码，手把手教你掌握分布式技术

【内容简介】

本书从作者的实战经验出发，深入浅出地讲解了如何建立一个Hadoop那样的分布式系统，实现对多台计算机CPU、内存、硬盘的统一利用，从而获取强大计算能力去解决复杂问题。一般互联网企业的分布式存储计算系统都是个大平台，系统复杂、代码庞大，而且只适合公司的业务，工程师很难下载安装到自己的电脑里学习和吃透。本书对分布式核心技术进行了大量归纳和总结，并从中抽取出一套简化的框架和编程API进行讲解，方便工程师了解分布式系统的主要技术实现。这不是一本空谈概念、四处摘抄的书，这本书包含了大量精炼示例，手把手教你掌握分布式核心技术。

本书主要内容

 分布式并行计算的基本原理解剖；

 分布式协调的实现，包括如何实现公共配置管理，如何实现分布式锁，如何实现集群管理等；

 分布式缓存的实现，包括如何提供完整的分布式缓存来利用多机内存能力；

 消息队列的实现，包括如何实现发送和接收模式；

 分布式文件系统的实现，包括如何像操作本地文件一样操作远程文件，并利用多机硬盘存储能力；

 分布式作业调度平台的实现，包括资源隔离、资源调度等。

【参考阅读】

978-7-111-43052-0 大规模分布式存储系统:原理解析与架构实战

978-7-111-40392-0 分布式系统：概念与设计（原书第5版）

978-7-111-45244-7 Hadoop应用开发技术详解

978-7-111-41766-8 Hadoop技术内幕：深入解析Hadoop Common和HDFS架构设计与实现原理

978-7-111-42226-6 Hadoop技术内幕：深入解析MapRece架构设计与实现原理

978-7-111-44534-0 Hadoop技术内幕：深入解析YARN架构设计与实现原理

978-7-111-43514-3 网站数据分析：数据驱动的网站管理、优化和运营

978-7-111-42591-5 数据挖掘：实用案例分析

作者简介：

彭渊资深架构师，现任华为企业中间件首席架构师，主要负责中间件和大数据。前淘宝高级专家（花名：千峰），先后在淘宝交易、淘宝中间件、集团核心系统、阿里金融等部门工作。曾任金蝶总体架构部SOA架构师，负责设计ESB。曾艰苦创业，编写和销售财务软件。在Java技术领域从业十多年，撰写过多款开源软件，其中，淘宝分布式技术框架Fourinone为其代表作。他拥有软件著作权的代表作有：BS系列软件（包括财务进销存、OA产品、CRM等）、FMS视频会议、Flash网站生成软件（华军可下载），所有软件作品均贡献99%代码。

⑤ 分布式文件系统是实现非结构化什么的主要技术

相对于结构化数据而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。

分布式文件系统（Distributed File System，DFS）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点（可简单的理解为一台计算机）相连；或是若干不同的逻辑磁盘分区或卷标组合在一起而形成的完整的有层次的文件系统。

DFS为分布在网络上任意位置的资源提供一个逻辑上的树形文件系统结构，从而使用户访问分布在网络上的共享文件更加简便。单独的 DFS共享文件夹的作用是相对于通过网络上的其他共享文件夹的访问点。

⑥ 什么是DFS（分布式文件系统）以及DFS的优点

通过 DFS（分布式文件系统），一台服务器上的某个共享点能够作为驻留在其他服务器上的共享资源的宿主。DFS 以透明方式链接文件服务器和共享文件夹，然后将其映射到单个层次结构，以便可以从一个位置对其进行访问，而实际上数据却分布在不同的位置。用户不必再转至网络上的多个位置以查找所需的信息，而只需连接到：
\\DfsServer\Dfsroot

用户在访问此共享中的文件夹时将被重定向到包含共享资源的网络位置。这样，用户只需知道 DFS 根目录共享即可访问整个企业的共享资源。

DFS 拓扑从 DFS 树的根目录开始。位于逻辑层次结构顶部的 DFS 根目录映射到一个物理共享。DFS 链接将域名系统 (DNS) 名称映射到目标共享文件夹或目标 DFS 根目录的 UNC 名称。当 DFS 客户端访问 DFS 共享文件夹时，DFS 服务器将 DNS 名称映射到 UNC 名称并将引用返回给该客户端，以使它能够找到共享文件夹。将 DNS 名称映射到 UNC 名称使数据的物理位置对用户是透明的，这样用户便无须记住存储文件夹的服务器。当 DFS 客户端请求 DFS 共享的引用时，DFS 服务器将使用分区情况表 (PKT) 将 DFS 客户端定向到物理共享。对于基于域的 DFS，PKT 存储在 Active Directory 中；对于独立的 DFS，PKT 存储在注册表中。在网络环境中，PKT 维护有关 DFS 拓扑的所有信息，包括其到基础物理共享的映射。DFS 服务器将 DFS 客户端定向到与请求的 DFS 链接相对应的副本共享列表后，DFS 客户端使用 Active Directory 站点拓扑连接到同一站点中的一个副本，如果该站点中没有提供副本，则连接到该站点以外的一个副本。

分布式软件系统(Distributed Software Systems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。

分布式操作系统负责管理分布式处理系统资源和控
分布式系统的类型，大致可以归为三类：

1、分布式数据，但只有一个总? 据库，没有局部数据库。

2、分层式处理，每一层都有自己的数据库。

3、充分分散的分布式网络，没有中央控制部分，各节点之间的联接方式又可以有多种，如松散的联接，紧密的联接，动态的联接，广播通知式联接等。

⑦ 当前主流分布式文件系统有哪些各有什么优缺点

目前几个主流的分布式文件系统除GPFS外，还有PVFS、Lustre、PanFS、GoogleFS等。
1.PVFS(Parallel
Virtual
File
System)项目是Clemson大学为了运行Linux集群而创建的一个开源项目,目前PVFS还存在以下不足：
1）单一管理节点:只有一个管理节点来管理元数据，当集群系统达到一定的规模之后，管理节点将可能出现过度繁忙的情况，这时管理节点将成为系统瓶颈;
2）对数据的存储缺乏容错机制:当某一I/O节点无法工作时，数据将出现不可用的情况;
3）静态配置:对PVFS的配置只能在启动前进行，一旦系统运行则不可再更改原先的配置。
2.Lustre文件系统是一个基于对象存储的分布式文件系统，此项目于1999年在Carnegie
Mellon
University启动，Lustre也是一个开源项目。它只有两个元数据管理节点,同PVFS类似,当系统达到一定的规模之后，管理节点会成为Lustre系统中的瓶颈。
3.PanFS(Panasas
File
System)是Panasas公司用于管理自己的集群存储系统的分布式文件系统。
4.GoogleFS(Google
File
System)是Google公司为了满足公司内部的数据处理需要而设计的一套分布式文件系统。

⑧ 如何设计一个分布式文件系统，给出文件和目录的更新算法

分布式文件系统设计主要关注几个方面： 设计特点、分布式能力、性能、容灾、维护和扩展、成本 分布式文件系统主要关键技术： 全局名字空间、缓存一致性、安全性、可用性、可扩展性

⑨ 为什么要使用分布式文件系统

分布式复文件系统（Distributed File System）是制指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。例如，用户可以“发表”一个允许其他客户机访问的目录，一旦被访问，这个目录对客户机来说就像使用本地驱动器一样，下面是三个基本的分布式文件系统。