小文件分布式

1. 分布式文件系统 ipfs性能怎么样

这个是IPFS应用生态图。各行业各都在布局IPFS了。

• IPFS是协议 定义了基于内容寻址的文件传输协议，并结合了来自Kademlia、BitTorrent、 Git等想法来协调内容传输。在这个网络协议下，访问文件或数据的依据，是一 串串与文件匹配的唯一的哈希值。

• IPFS是文件系统 有文件夹、文件和基于FUSE的可挂载文件系统。虽然在此协议下检索文件是依 据哈希值而非IP，但具体文件依然存储在以树状层级文件夹系统为基础的文件 系统。

• IPFS是互联网 文件可以通过HTTP网关来访问，例如https://ipfs.io； 浏览器通过扩展插件或直接使用区块链浏览器来使用ipfs://域； 哈希寻址保证了内容的真实性。

• IPFS是P2P（点对点通讯） 支持世界范围点对点文件传输，具有完全分散的架构，没有中心点故障。掠过 所有中间节点的端对端直达传输。

• IPFS是CDN 在本地库中添加一个文件，立即对世界可用，并拥有对缓存友好的内容哈希地 址和BitTorrent一样的带宽分发。访问此网络下的文件就像访问本地文件一样迅 速方便。

• IPFS是云服务 基于分布式存储结构，集合全节点存储能力，以供存储检索需求。

2. 嗨，大家好！向大家请教个问题：怎么采用分布式文件系统实现资源共享。谢谢了！

DFS（Distributed File System，分布式文件系统），可以将分布在多个服务器或客户机上的共享资源列表整合在一个DFS根目录中，这样用户无需知道或指定文件的实际物理位置就可以对它们进行访问，这无疑将简化资源共享的操作步骤。

创建DFS根目录

依次单击“开始→管理工具→分布式文件系统”，打开“分布式文件系统”控制台。然后单击“操作→新建 DFS根目录”命令，打开“新建根目录向导”对话框。接着单击“下一步”按钮，在打开的“根目录类型”对话框中点选“独立的根目录”单选框并单击“下一步”按钮。在“主服务器”对话框中键入一个正确的服务器名称（本例键入的是本机名称chhuian，也可以单击“浏览”按钮查找服务器），单击“下一步”按钮。在“根目录名称”对话框的“根目录名称”编辑框中键入一个已经共享出来的文件夹名称，在“注释”编辑框中键入一些描述性的语言（如“通过此根目录可以访问网络中的共享资源”），单击“下一步”按钮（如图）。

如果键入的共享文件夹不存在，则在打开的“根目录共享”对话框中会提示您指定共享不存在。这时可以单击“浏览”按钮，在打开的“浏览文件夹”对话框中指定创建共享文件夹的位置，单击“新建文件夹”按钮，命名为“DFS根目录”。依次单击“确定→下一步→完成”按钮结束创建（如图）。

小提示

为了保持根目录的整洁性，建议您事先建立一个空白文件夹并设置为共享（如“DFS根目录”）。然后在“根目录名称”编辑框中键入新建的共享文件夹名。重复上述步骤可以创建多个DFS根目录。

添加DFS链接

前面我们已经成功创建了DFS的根目录，然而现在这个根目录里面并没有任何共享资源。那么网络上其他机器的共享资源如何归于DFS根目录的旗下呢？这正是DFS可爱的地方。

打开“分布式文件系统”控制台，右击控制台树中的“\\chhuian\DFS根目录”目录，执行“新建链接”命令，打开“新建链接”对话框（如图3）。在“链接名称”编辑框中键入一个逻辑名称（如“个人公文包”），然后单击“浏览”按钮，从“网上邻居”中的共享文件夹列表中选中一个共享文件夹，然后依次单击“确定”按钮（如图4）。重复上述步骤将整个网络中所有的共享文件夹与根目录建立链接（如图）。

访问共享资源

将网络中所有可以共享的资源与DFS根目录建立链接后，我们就可以在任意一台电脑上通过UNC路径或“网上邻居”访问这些资源了。在任意一个Windows窗口的地址栏中键入Server的DFS根目录，如<\\chhuian\DFS根目录>，即可通过左窗格的目录树和右窗格中的资源列表访问网络中所有的共享资源，而我们根本不必关心所访问的资源到底来自网络上的哪台机器（如图）。

小提示

本文以Windows Server 2003为平台加以介绍的，DFS服务同样适用于基于Windows 2000 Server平台的网络环境，其设置方法与本文所述基本相同。

3. HDFS分布式文件系统具有哪些优点

HDFS分布式文件系统具有以下优点：
支持超大文件
支持超大文件。超大文件在这里指的是几百M，几百GB，甚至几TB大小的文件。一般来说hadoop的文件系统会存储TB级别或者PB级别的数据。所以在企业的应用中，数据节点有可能有上千个。
检测和快速应对硬件故障
在集群的环境中，硬件故障是常见的问题。因为有上千台服务器连接在一起，这样会导致高故障率。因此故障检测和自动恢复是hdfs文件系统的一个设计目标。
流式数据访问
Hdfs的数据处理规模比较大，应用一次需要访问大量的数据，同时这些应用一般都是批量处理，而不是用户交互式处理。应用程序能以流的形式访问数据集。主要的是数据的吞吐量，而不是访问速度。
简化的一致性模型
大部分hdfs操作文件时，需要一次写入，多次读取。在hdfs中，一个文件一旦经过创建、写入、关闭后，一般就不需要修改了。这样简单的一致性模型，有利于提高吞吐量。
缺点
低延迟数据访问
低延迟数据。如和用户进行交互的应用，需要数据在毫秒或秒的范围内得到响应。由于hadoop针对高数据吞吐量做了优化，牺牲了获取数据的延迟，所以对于低延迟来说，不适合用hadoop来做。
大量的小文件
Hdfs支持超大的文件，是通过数据分布在数据节点，数据的元数据保存在名字节点上。名字节点的内存大小，决定了hdfs文件系统可保存的文件数量。虽然现在的系统内存都比较大，但大量的小文件还是会影响名字节点的性能。
多用户写入文件、修改文件
Hdfs的文件只能有一次写入，不支持写入，也不支持修改。只有这样数据的吞吐量才能大。
不支持超强的事务
没有像关系型数据库那样，对事务有强有力的支持。

4. 可以灵活扩容的分布式文件存储软件有吗

XSKY 星辰天合的XEDP平台扩展弹性就很高的，在我们使用中发现，它可以实现从单资源池数台到数百台的不停机水平扩展。

5. 小文件读写的分布式文件系统哪些

分布式文件系统、集群文件系统、并行文件系统，这三种概念很容易混淆，实际中大家也经常不加区分地使用。总是有人问起这三者的区别和联系，其实它们之间在概念上的确有交叉重叠的地方，但是也存在显著不同之处。 分布式文件系统 自然地，“分布式”是重点，它是相对与本地文件系统而言的。分布式文件系统通常指C/S架构或网络文件系统，用户数据没有直接连接到本地主机，而是存储在远程存储服务器上。NFS/CIFS是最为常见的分布式文件系统，这就是我们说的NAS系统。分布式文件系统中，存储服务器的节点数可能是1个(如传统NAS)，也可以有多个(如集群NAS)。对于单个节点的分布式文件系统来说，存在单点故障和性能瓶颈问题。除了NAS以外，典型的分布式文件系统还有AFS，以及下面将要介绍的集群文件系统(如Lustre, GlusterFS, PVFS2等)。 集群文件系统 “集群”主要分为高性能集群HPC(High Performance Cluster)、高可用集群HAC(High Availablity Cluster)和负载均衡集群LBC(Load Balancing Cluster)。集群文件系统是指协同多个节点提供高性能、高可用或负载均衡的文件系统，它是分布式文件系统的一个子集，消除了单点故障和性能瓶问题。对于客户端来说集群是透明的，它看到是一个单一的全局命名空间，用户文件访问请求被分散到所有集群上进行处理。此外，可扩展性(包括Scale-Up和Scale-Out)、可靠性、易管理等也是集群文件系统追求的目标。在元数据管理方面，可以采用专用的服务器，也可以采用服务器集群，或者采用完全对等分布的无专用元数据服务器架构。目前典型的集群文件系统有SONAS, ISILON, IBRIX, NetAPP-GX, Lustre, PVFS2, GlusterFS, Google File System, LoongStore, CZSS等。 并行文件系统 这种文件系统能够支持并行应用，比如MPI。在并行文件系统环境下，所有客户端可以在同一时间并发读写同一个文件。并发读，大部分文件系统都能够实现。并发写实现起来要复杂许多，既要保证数据一致性，又要最大限度提高并行性，因此在锁机制方面需要特别设计，如细粒度的字节锁。通常SAN共享文件系统都是并行文件系统，如GPFS、StorNext、GFS、BWFS，集群文件系统大多也是并行文件系统，如Lustre, Panasas等。 如何区分？ 区分这三者的重点是“分布式”、“集群”、“并行”三个前缀关键字。简单来说，非本地直连的、通过网络连接的，这种为分布式文件系统；分布式文件系统中，服务器节点由多个组成的，这种为集群文件系统；支持并行应用(如MPI)的，这种为并行文件系统。在上面所举的例子中也可以看出，这三个概念之间具有重叠之处，比如Lustre，它既是分布式文件系统，也是集群和并行文件系统。但是，它们也有不同之处。集群文件系统是分布式文件系统，但反之则不成立，比如NAS、AFS。SAN文件系统是并行文件系统，但可能不是集群文件系统，如StorNext。GFS、HDFS之类，它们是集群文件系统，但可能不是并行文件系统。实际中，三者概念搞理清后，分析清楚文件系统的特征，应该还是容易正确地为其划分类别的。

6. 当前主流分布式文件系统有哪些各有什么优缺点

目前几个主流的分布式文件系统除GPFS外，还有PVFS、Lustre、PanFS、GoogleFS等。
1.PVFS(Parallel Virtual File System)项目是Clemson大学为了运行Linux集群而创建的一个开源项目,目前PVFS还存在以下不足：
1）单一管理节点:只有一个管理节点来管理元数据，当集群系统达到一定的规模之后，管理节点将可能出现过度繁忙的情况，这时管理节点将成为系统瓶颈;
2）对数据的存储缺乏容错机制:当某一I/O节点无法工作时，数据将出现不可用的情况;
3）静态配置:对PVFS的配置只能在启动前进行，一旦系统运行则不可再更改原先的配置。
2.Lustre文件系统是一个基于对象存储的分布式文件系统，此项目于1999年在Carnegie Mellon University启动，Lustre也是一个开源项目。它只有两个元数据管理节点,同PVFS类似,当系统达到一定的规模之后，管理节点会成为Lustre系统中的瓶颈。
3.PanFS(Panasas File System)是Panasas公司用于管理自己的集群存储系统的分布式文件系统。
4.GoogleFS(Google File System)是Google公司为了满足公司内部的数据处理需要而设计的一套分布式文件系统。
5.相对其它的文件系统，GPFS的主要优点有以下三点：
1)使用分布式锁管理和大数据块策略支持更大规模的集群系统,文件系统的令牌管理器为块、inode、属性和目录项建立细粒度的锁，第一个获得锁的客户将负责维护相应共享对象的一致性管理，这减少了元数据服务器的负担;
2)拥有多个元数据服务器,元数据也是分布式,使得元数据的管理不再是系统瓶颈;
3)令牌管理以字节作为锁的最小单位,也就是说除非两个请求访问的是同一文件的同一字节数据,对于数据的访问请求永远不会冲突.

7. 分布式文件系统的简介

计算机通过文件系统管理、存储数据，而信息爆炸时代中人们可以获取的数据成指数倍的增长，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，在容量大小、容量增长速度、数据备份、数据安全等方面的表现都差强人意。分布式文件系统可以有效解决数据的存储和管理难题：将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输。人们在使用分布式文件系统时，无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的，只需要像使用本地文件系统一样管理和存储文件系统中的数据。