什么是并行文件系统

1. 当前主流的分布式文件系统有哪些

目前几个主流的分布式文件系统除gpfs外，还有pvfs、lustre、panfs、googlefs等。
1.pvfs(parallel
virtual
file
system)项目是clemson大学为了运行linux集群而创建的一个开源项目,目前pvfs还存在以下不足：
1）单一管理节点:只有一个管理节点来管理元数据，当集群系统达到一定的规模之后，管理节点将可能出现过度繁忙的情况，这时管理节点将成为系统瓶颈;
2）对数据的存储缺乏容错机制:当某一i/o节点无法工作时，数据将出现不可用的情况;
3）静态配置:对pvfs的配置只能在启动前进行，一旦系统运行则不可再更改原先的配置。
2.lustre文件系统是一个基于对象存储的分布式文件系统，此项目于1999年在carnegie
mellon
university启动，lustre也是一个开源项目。它只有两个元数据管理节点,同pvfs类似,当系统达到一定的规模之后，管理节点会成为lustre系统中的瓶颈。
3.panfs(panasas
file
system)是panasas公司用于管理自己的集群存储系统的分布式文件系统。
4.googlefs(google
file
system)是google公司为了满足公司内部的数据处理需要而设计的一套分布式文件系统。
5.相对其它的文件系统，gpfs的主要优点有以下三点：
1)使用分布式锁管理和大数据块策略支持更大规模的集群系统,文件系统的令牌管理器为块、inode、属性和目录项建立细粒度的锁，第一个获得锁的客户将负责维护相应共享对象的一致性管理，这减少了元数据服务器的负担;
2)拥有多个元数据服务器,元数据也是分布式,使得元数据的管理不再是系统瓶颈;
3)令牌管理以字节作为锁的最小单位,也就是说除非两个请求访问的是同一文件的同一字节数据,对于数据的访问请求永远不会冲突.

2. linux下常用的分布式文件系统有哪些

Lustre是HP，Intel，Cluster File System公司联合美国能源部开发的Linux集群并行文件系统，名称来源于Linux和Clusters。同时Lustre也是一个遵循GPL许可协议的开源软件，Lustre也被称为平行分布式文件系统，常用于大型计算机集群和超级电脑中。

Lustre的主要组建包括：元数据服务器(Metadataservers， MDSs)、对象存储服务器(objectstorage servers， OSSs)和客户端。其中MDSs提供元数据服务，MGS管理服务器提供Lustre文件系统配置信息，OSS对象存储服务器expose块设备提供数据。

Lustre文件系统针对大文件读写进行了优化，能够提高性能的IO能力;在源数据独立存储、服务和网络失效的快速恢复、基于意图的分布式锁管理和系统可快速配置方面优异。

分布式存储的关键技术主要包括：全局名字空间、缓存一致性、安全性、可用性和可扩展性。从数据形态来划分，主要有：结构化数据、非机构化数据和半结构化数据。

Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。

Linux操作系统诞生于1991 年10 月5 日（这是第一次正式向外公布时间）。Linux存在着许多不同的Linux版本，但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中，比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。

3. 并行文件系统 io请求类型

并行文件系统 io请求类型在不同层次有不同的表示。
io请求在内核的传递过程中，并未发生实际的拷贝，而是引用部分数据。
在request对象中还是有bio对象的，在转化的时候，bio对象并未消失。
这是一种系统设计的方法，对象的有效性通过引用计数来实现。
在整个io请求处理过程中page，buffer_head，bio，bio_vec，request对象都并没有消失。
最后的io调度算法的实际操作，也只不过是将bio添加到request的biotail和更新nr_sectors而已。

4. 操作系统的文件系统由哪几部分组成

由文件系统的接口，对对象操纵和管理的软件集合，对象及属性组成。

操作系统中负责管理和存储文件信息的软件机构称为文件管理系统，简称文件系统。文件系统由三部分组成：文件系统的接口，对对象操纵和管理的软件集合，对象及属性。

从系统角度来看，文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。

(4)什么是并行文件系统扩展阅读：

文件的系统是操作系统用于明确磁盘或分区上的文件的方法和数据结构；即在磁盘上组织文件的方法。也指用于存储文件的磁盘或分区，或文件系统种类。

磁盘或分区和它所包括的文件系统的不同是很重要的。少数程序直接对磁盘或分区的原始扇区进行操作；这可能破坏一个存在的文件系统。大部分程序基于文件系统进行操作，在不同种文件系统上不能工作。

一个分区或磁盘在作为文件系统使用前，需要初始化，并将记录数据结构写到磁盘上。这个过程就叫建立文件系统。

5. 什么是Hadoop分布式文件系统

分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，内而是通过计算机网络与容节点相连。

Hadoop是Apache软件基金会所研发的开放源码并行运算编程工具和分散式档案系统，与MapRece和Google档案系统的概念类似。
HDFS（Hadoop 分布式文件系统）是其中的一部分。

6. Gluster 简介

Gluster 是一种可扩展的分布式文件系统，可将来自多个服务器的磁盘存储资源聚合到一个全局命名空间中。

GlusterFS 体系结构将计算，存储和 I/O 资源聚合到一个全局命名空间中。 每台服务器加上存储设备（配置为直连存储，JBOD 或使用存储区域网络）被视为节点。 通过添加其它节点或向每个节点添加额外存储来扩展容量。 通过在更多节点之间部署存储来提高性能。 通过在节点之间复制数据来实现高可用性。

GlusterFS 通过以太网或 Infiniband RDMA 互连将各种存储服务器聚合到一个大型并行网络文件系统中。 GlusterFS 基于可堆叠的用户空间设计。

GlusterFS 有一个客户端和服务器组件。服务器通常部署为 storage bricks，每个服务器运行 glusterfsd 守护程序以将本地文件系统导出为 volume。 glusterfs 客户端进程通过 TCP/IP，InfiniBand 或套接字直接协议连接到具有自定义协议的服务器，使用可堆叠转换器从多个远程服务器创建复合虚拟卷。默认情况下，文件是整体存储的，但也支持跨多个远程卷分割文件。然后，客户端主机可以通过 FUSE 机制使用自己的本机协议，使用内置服务器转换器的 NFS v3 协议或通过 libgfapi 客户端库访问 volume。

GlusterFS 的大多数功能都实现为转换器，包括基于文件的镜像和复制，基于文件的条带化，基于文件的负载均衡，卷故障转移，调度和磁盘缓存，存储配额以及具有用户可维护性的卷快照（自 GlusterFS 3.6 版本以来 )。

GlusterFS 服务器有意保持简单：它按原样导出现有目录，将其留给客户端转换器来构建存储。客户端本身是无状态的，不相互通信，并且期望具有彼此一致的转换器配置。 GlusterFS 依赖于弹性散列算法(elastic hashing algorithm)，而不是使用集中式或分布式元数据模型。使用 GlusterFS 3.1 及更高版本，可以动态添加，删除或迁移卷，有助于避免配置一致性问题，并允许 GlusterFS 通过避免通常会影响更紧密耦合的分布式文件系统的瓶颈，在商用硬件上扩展到几PB 。

GlusterFS 通过各种复制选项提供数据可靠性和可用性：复制卷和地理复制。复制卷确保每个文件至少存在一个副本，因此如果一个文件出现故障，仍然可以访问数据。地理复制提供了主从模式的复制， volume 会跨不同的地理位置进行复制。这是异步发生的，在发生故障时备份数据非常有用。

https://docs.gluster.org/en/latest/Administrator%20Guide/GlusterFS%20Introction/
https://en.wikipedia.org/wiki/Gluster

7. 如何区分分布式/集群/并行文件系统

分布式文件系统、集群文件系统、并行文件系统，这三种概念很容易混淆，实际中大家也经常不加区分地使用。总是有人问起这三者的区别和联系，其实它们之间在概念上的确有交叉重叠的地方，但是也存在显著不同之处。
分布式文件系统
自然地，分布式是重点，它是相对与本地文件系统而言的。分布式文件系统通常指C/S架构或网络文件系统，用户数据没有直接连接到本地主机，而是存储在远程存储服务器上。NFS/CIFS是最为常见的分布式文件系统，这就是我们说的NAS系统。分布式文件系统中，存储服务器的节点数可能是1个(如传统NAS)，也可以有多个(如集群NAS)。对于单个节点的分布式文件系统来说，存在单点故障和性能瓶颈问题。除了NAS以外，典型的分布式文件系统还有AFS，以及下面将要介绍的集群文件系统(如Lustre, GlusterFS, PVFS2等)。
集群文件系统
集群主要分为高性能集群HPC(High Performance Cluster)、高可用集群HAC(High Availablity Cluster)和负载均衡集群LBC(Load Balancing Cluster)。集群文件系统是指协同多个节点提供高性能、高可用或负载均衡的文件系统，它是分布式文件系统的一个子集，消除了单点故障和性能瓶问题。对于客户端来说集群是透明的，它看到是一个单一的全局命名空间，用户文件访问请求被分散到所有集群上进行处理。此外，可扩展性(包括Scale-Up和Scale-Out)、可靠性、易管理等也是集群文件系统追求的目标。在元数据管理方面，可以采用专用的服务器，也可以采用服务器集群，或者采用完全对等分布的无专用元数据服务器架构。目前典型的集群文件系统有SONAS, ISILON, IBRIX, NetAPP-GX, Lustre, PVFS2, GlusterFS, Google File System, LoongStore, CZSS等。
并行文件系统
这种文件系统能够支持并行应用，比如MPI。在并行文件系统环境下，所有客户端可以在同一时间并发读写同一个文件。并发读，大部分文件系统都能够实现。并发写实现起来要复杂许多，既要保证数据一致性，又要最大限度提高并行性，因此在锁机制方面需要特别设计，如细粒度的字节锁。通常SAN共享文件系统都是并行文件系统，如GPFS、StorNext、GFS、BWFS，集群文件系统大多也是并行文件系统，如Lustre, Panasas等。如何区分？区分这三者的重点是分布式、集群、并行三个前缀关键字。简单来说，非本地直连的、通过网络连接的，这种为分布式文件系统；分布式文件系统中，服务器节点由多个组成的，这种为集群文件系统；支持并行应用(如MPI)的，这种为并行文件系统。在上面所举的例子中也可以看出，这三个概念之间具有重叠之处，比如Lustre，它既是分布式文件系统，也是集群和并行文件系统。但是，它们也有不同之处。集群文件系统是分布式文件系统，但反之则不成立，比如NAS、AFS。SAN文件系统是并行文件系统，但可能不是集群文件系统，如StorNext。GFS、HDFS之类，它们是集群文件系统，但可能不是并行文件系统。实际中，三者概念搞理清后，分析清楚文件系统的特征，应该还是容易正确地为其划分类别的。

8. 哪些企业真正需要系统具备横向扩展能力

在如今环境多样化的状况下，横向扩展系统将会具有深远的影响。由于某些行业需要存储大量的文件，因此需要足够的访问带宽才能满足应用对性能的要求，因此对外扩展系统已经首先在网络附加存储(NAS)方面发挥了威力。 例如，过去基于纸张或缩微胶片开展业务的一些大型传统行业，在信息数字化后，其数据存储压力扑面而来。对提供横向扩展NAS系统的供货商而言，这些行业正是对他们充满了吸引力的垂直市场，因为他们的产品正好可以为高性能的应用提供支持。 如果我们观察一下 “横向扩展NAS的垂直关联行业图”中的IO轴和吞吐量的关系模型，就会发现这些行业有许多应用都要求非常高的吞吐量。在许多横向扩展NAS系统(包括明年将推出的支持并行网络文件系统的NAS系统)中内置的并行数据服务功能提供的能力超过了每秒MB——传统纵向扩展NAS系统提供的能力值。纵向扩展NAS的垂直关联行业图 来源：企业战略集团，2011年. 就在最近的五年前，这张图还不是这个样子。许多右上方的业务负载还挤在图中的左下侧。但是处理器技术(如多处理器和更快的芯片集)，视频、图像和设计软件(例如3-D CAD、4-D医学成像、高清电视等等还有很多)等各方面的进步，已经催生了新的业务负载，而这些负载带来了完全不同的性能需求。这些应用产生了海量的文件和多线程的访问请求，单处理器或双处理器的纵向扩展系统没法及时完成响应，造成了业务系统的响应减慢或请求服务超时。 让我们对一些具体的行业进行深入分析，来佐证我的观点。 金融服务。这些习惯了管理巨量交易信息的用户，现在成了高性能并行文件系统的主力用户。高性能并行文件系统通常是应用在市场业绩预测和商业智能方面。这些应用调用的文件，不只是内容巨大，还需要长时间的密集计算处理，需要高级别的数据保护并需要保证数据的即时可用性。金融服务的用户特意寻找横向扩展架构以消除数据整合的瓶颈。数据整合是金融服务IT的核心任务。对于这些用户来说，理想的NAS解决方案是，可以随时通过增加节点，来使数据的访问性能变得更快。 生命科学。毫不奇怪，从事与健康相关的科学研究组织，对并行文件系统解决方案非常感兴趣，因为这些系统可以提供高带宽的数据传输能力和大规模的可扩展性。在这些组织中，紧密合作是非常必须的。例如，IT团队必须得想办法，使成千上万的研究人员可以共享非常大的基因测序文件或蛋白质组数据。这些企业还必须加快他们的发现过程来获得成功。如果能更快地发明一种新的药物，这种药物就可以被更快地进行测试，就能更快地获得批准，并应用于医疗和科研实践中。对这些组织而言，要加速药物的发现过程，以IT为中心的解决方案就是，构建基于高性能并行文件系统的基础设施，从而避免后续不断进行颠覆性的系统改造和升级。 制造和设计。像已经明确的其他行业一样，高科技制造商、航空航天公司、纳米电子新企业、CAD / CAM设计公司以及其他更多的类似组织，也需要巨大的存储量。他们都在寻找方法来优化数据管理。这些行业用户需要实现存储容量的无缝扩展，以应对数字信息的不断增长，并提高工程团队之间的信息共享能力。在这样的环境中，系统失效会导致重大的经济损失。所以制造和设计领域的用户希望部署基于文件的存储系统，以达到近乎100%的可靠性以及容量在线升级的简易性。他们为增强文件系统管理、数据移动、复制和迁移/分级存储等功能，寻找自动化的解决方案。 媒体和娱乐。传媒和娱乐机构的经营模式已经发生了急剧的变化。在早期的年代里，他们会出版印刷的杂志，现在，这些杂志仅提供“单一网络在线”格式。不仅所有编辑的内容需要迅速提供给读者和编者，所有的广告文件也一样。对数字密集型的媒体和娱乐公司而言，大型视频文件也加剧了数据增长带来的问题。 今天的传媒和娱乐机构创建和保护着TB或PB级的文件数据。在一些企业中，大部分数据是建立在“边缘”——远离主数据中心的远程新闻分社或CGI设计工作室。这些业务机构为数据的复制备份带来了难题，甚至可能会使得基础设施的灾难恢复(DR)能力受到障碍。媒体和娱乐机构正在寻找高性能的横向扩展NAS解决方案来解决各种问题 ——例如提高虚拟服务器基础设施的性能，或者，为内容的创作者和阅读者提供信息的随时可用性和及时可用性。 石油和天然气。在过去，探寻石油和天然气储量具有很大的不确定性。今天，借助于数字化的信息数据，这已经成了一个高精度的科学过程。过去的十年中，在油层下降和提取操作变得更加复杂的同时，对疑似资源储藏地点的三维可视化，已成为该行业无时不刻需要利用的工具。在石油和天然气垂直市场的IT经理，面临的挑战是找到NAS基础设施，以支持海量数据的共享和保护。这些数据是对石油储量建模/仿真处理的结果。如果没有一个这样的架构，能够在数据存储容量增长的同时保持数据访问的性能，那么保持企业的竞争优势会变得非常困难——主要原因是 “见效时间”(资源开采)太长了。对石油和天然气企业处理巨型规模的模拟计算而言， 横向扩展NAS系统是一个很好的解决方案。而这样的模拟计算，是他们在竞争中获得成功的直接保证。 传统的高性能计算、学术和研究。在公共部门工作的天体物理学家、分子生物学家、化学家、核物理学家和社会科学家，是海量数据的制造者和使用者。例如，由欧洲核子研究中心运行的大型强子对撞机，其IT团队在2010年中期就管理着 70 PB的数据。甚至规模非常小的研究设施(通常是运行在经费有限的大学机构或商业实验室)也依赖于高性能网格计算和并行文件系统架构，以支持建模和仿真任务，才能够解决现实世界问题以及为“大”问题做出回答。他们的工作需要低延迟的网络集群，以应对非常高的性能要求和带宽要求。 这些行业是横向扩展系统的先期实际采用者，因为它们在吞吐量性能方面有横向扩展的刚性需求。但大多数的部门应该充分考虑，将许多PB的数据存储在一个单一命名空间，其效率如何以及能节省多少运营费用。这是横向扩展系统在云架构获得应用的原因。

9. 并行处理是云存储的用途吗

云存储的应用领域
云物联应用
云计算和物联网之间的关系可以用一个形象的比喻来说明：“云计算”是“互联网“中的神经系统的雏形，“物联网”是“互联网”正在出现的末梢神经系统的萌芽。
云存储应用
云存储是在云计算（cloud computing）概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。
云呼叫应用
云呼叫中心是基于云计算技术而搭建的呼叫中心系统，企业无需购买任何软、硬件系统，只需具备人员、场地等基本条件，就可以快速拥有属于自己的呼叫中心，软硬件平台、通信资源、日常维护与服务由服务器商提供。具有建设周期短、投入少、风险低、部署灵活、系统容量伸缩性强、运营维护成本低等众多特点；无论是电话营销中心、客户服务中心，企业只需按需租用服务，便可建立一套功能全面、稳定、可靠、座席可分布全国各地，全国呼叫接入的呼叫中心系统。
私有云应用
私有云（Private Cloud）是将云基础设施与软硬件资源创建在防火墙内，以供机构或企业内各部门共享数据中心内的资源。 创建私有云，除了硬件资源外，一般还有云设备（IaaS）软件；现时商业软件有VMware的 vSphere 和Platform Computing 的ISF， 开放源代码的云设备软件主要有Eucalyptus和OpenStack。
私有云计算同样包含云硬件、云平台、云服务三个层次。不同的是，云硬件是用户自己的个人电脑或服务器，而非云计算厂商的数据中心。云计算厂商构建数据中心的目的是为千百万用户提供公共云服务，因此需要拥有几十上百万台服务器。私有云计算，对个人来说只服务于亲朋好友，对企业来说只服务于本企业员工以及本企业的客户和供应商，因此个人或企业自己的个人电脑或服务器已经足够用来提供云服务。
云游戏应用
云游戏是以云计算为基础的游戏方式，在云游戏的运行模式下，所有游戏都在服务器端运行，并将渲染完毕后的游戏画面压缩后通过网络传送给用户。在客户端，用户的游戏

10. HPC服务是干什么的

Linux HPC 服务

服务介绍

IBM 在世界 500 强的超级计算机中排名第一，而且 500 台中有 215 台是由 IBM 完成。IBM 发明了包括并行处理、对称多处理机和群集等技术，并通过它们始终保持着在业界的领先水平。IBM Linux 群集方案是由基于 IBM PC 服务器整合而成的，另外还有组成高速互连光纤和以太网络的 OEM 设备，它的优势在于很强的并行计算和工作调度。

IBM 基于Linux 群集的服务包括：

1. Linux HPC 规划设计服务
2. Linux HPC 安装服务
3. Linux HPC CSM 安装服务
4. Linux HPC GPFS 安装服务

服务内容

1 Linux HPC 规划设计服务

此服务将建立在对客户应用的充分了解基础之上，针对客户现有的 IT 基础设施的现状，提出与现有设施结合最紧密的实施方案。

基于客户的要求，提出 Linux 群集的规模设计，提出计算结点、管理节点、路由器以及其它设备的最佳安装位置和配置方案的规划

根据客户应用软件的要求，提出对管理节点系统资源划分，以及计算结点所安装系统包的规划。

根据客户现有系统网络情况，提出群集内部网络、外部网络和管理网络地址规划。

根据客户应用对群集作业调度的要求，提出测试规划。

通过提供以上规划设计服务，使得系统满足客户对群集并行能力和作业调度的需求。客户可以通过这项服务，获得整个群集最大能力的发挥。

2 Linux HPC 实施服务

* 系统硬件就位、连线、上电。
* 安装群集内部各节点的操作系统。
* 实现网络资源的划分。
* 提供更多的 Linux 的配置和客户化；
* 现场与客户现场的系统管理员的技术交流；
* 关键时刻，现场解决问题；
* 提供性能测试和调整；
* 群集安装服务的整体项目管理

此服务的目的就是：将客户购买的所有 IBM PC 服务器和各第三方产品硬件安装就位，硬件连接完毕；根据对群集资源的规划，将整个群集操作系统安装完毕。

通过安装高性能群集，客户可以实现高度的并行运算速度，以及可扩展性和可管理性很强的群集结构。而且它的性价比将是对客户的最大吸引力。

3 Linux HPC CSM 安装服务

IBM 群集系统管理软件（以下简称CSM）的目的是提供对群集系统的广泛管理能力。

CSM 提供多种有用的功能可以对群集系统进行单点控制。

CSM 提供的主要功能有：

* 资源监控及操作
* 远程硬件控制
* 远程命令执行
* 配置文件管理
* 并行网络安装

4 Linux GPFS 安装服务

IBM 的通用并行文件系统（以下简称GPFS）允许用户可以共享对文件的访问.

UNIX 文件系统的很多功能也被 GPFS 所支持。

GPFS 可以为并行或者串行的应用程序提供文件系统服务。

当建立群集系统时，GPFS 可以提供一些优势。我们总结如下：

1. 提高系统性能
2. 确保配置以及文件的一致性
3. 高可恢复性以及增强的数据可靠性
4. 增强的系统灵活性
5. 简单的管理

客户收益

通过添加更多的 Linux 节点，该系统的并行计算能力可以垂直扩展。

它是一个经济高效的解决方案，用相对较低的成本获得千兆量级的浮点运算速度。

利用了对称多处理能力，适用于并行计算的任务，如生命科学或模拟等。