文件系统搭建

A. 在Windows上自建nfs，性能比较差，这个怎么办

本文描述了在应用环境为Windows系统下，需要使用文件存储的场景。本文采用了私有化部署的方式向用户提供了文件共享存储服务。用NFS协议，搭建Windows环境NFS服务，为Windows系统下的云主机提供共享访问服务。
存储格式都有哪些？
文件、块和对象是三种以不同的方式来保存、整理和呈现数据的存储格式。这些格式各有各的功能和限制。文件存储会以文件和文件夹的层次结构来整理和呈现数据；块存储会将数据拆分到任意划分且大小相同的卷中; 对象存储会管理数据并将其链接至关联的元数据
块存储
块存储主要是将裸磁盘空间整个映射给主机使用的，就是说例如磁盘阵列里面有5块硬盘（为方便说明，假设每个硬盘1G），然后可以通过划逻辑盘、做Raid、或者LVM（逻辑卷）等种种方式逻辑划分出N个逻辑的硬盘。（假设划分完的逻辑盘也是5个，每个也是1G，但是这5个1G的逻辑盘已经于原来的5个物理硬盘意义完全不同了。例如第一个逻辑硬盘A里面，可能第一个200M是来自物理硬盘1，第二个200M是来自物理硬盘2，所以逻辑硬盘A是由多个物理硬盘逻辑虚构出来的硬盘。）
典型设备：磁盘阵列，硬盘
文件存储
为了克服块存储文件无法共享的问题，所以有了文件存储。主要功能是通过网络（一般是局域网）让不同的主机系统之间可以共享文件或目录。本文文件存储采用NFS协议，NFS客户端（一般为应用服务器，例如Web）可以通过挂载（mount）的方式将NFS服务器端共享的数据目录挂载带NFS客户端本地系统中（就是某一个挂载点下）。从客户端本地看，NFS服务器端共享的目录就好像是客户端自己的磁盘分区或目录一样，而实际上确实远端的NFS服务器的目录。
典型设备：FTP、NAS
对象存储
对象存储系统（Object-Based Storage System）是综合了NAS和SAN的优点，同时具有SAN的高速直接访问和NAS的数据共享等优势，提供了高可靠性、跨平台性以及安全的数据共享的存储体系结构。对象存储主要操作对象是对象（Object）。和文件和对象存储相比，没有随机读写的接口。和文件存储相比，没有目录树的概念。协议更注重简洁。
典型设备：内置大容量硬盘的分布式服务器、京东云OSS即对象存储
文件存储的适用场景
文件与较底层的块存储不同, 上升到了应用层, 一般指的就是NAS ,一套网络储存设备, 通过TCP/IP进行访问, 协议为NFSv3/v4由于通过网络。下面简单介绍以下NFS存储适用的两个场景，当然，还有更多的场景适合使用文件存储，本文不一一列出。
Web 服务
前端面向终端用户的服务由多台web服务器提供，多台服务器需要共享文件存储，文件系统、文件命名约定和权限等符合应用系统需求。
媒资管理
媒体行业由于其工作流和媒资是一直变化的，很多用户使用多云或混合云，媒体的剪辑、编辑在本地进行，存储和分发在云端，由于文件存储可以和现有的系统轻松的集成，因此，很多用户将文件存储用于媒资管理。
Windows环境下的NFS文件服务的搭建

选择Windows系统搭建NFS协议文件存储系统的优势如下：
系统交付后由用户进行维护，用户对Windows系统熟悉；
部分应用系统只能访问文件存储；
微软的SMB协议是面向网络连接的共享协议，对网络传输的可靠性要求高，常使用TCP/IP；NFS是独立于传输的，可使用TCP或UDP，同时考虑后期有linux系统扩容需求，故选择NFS协议。
京东云提供Linux环境的文件存储服务，无需另行搭建。（详见https://www.jdcloud.com/cn/procts/cloud-file-service）
本设计的优势：
共享访问-您在同一子网内的多台云主机可以共享同一个云文件服务中的文件存储系统。对于多个应用实例需要共享通用数据源的场景，特别适合使用云文件服务实现。
易于使用-支持标准的NFS协议，提供全托管的服务，无需修改应用，通过标准的文件系统挂载步骤即可实现无缝集成。极大降低迁移成本，简化云上项目开发。
稳定可靠-本系统存储基于京东云云硬盘，采用3副本冗余存储，提供超强的稳定性和可靠性，满足应用服务对文件系统的可用性和可靠性需求。
易于扩展-本系统存储基于京东云云硬盘，可根据业务需求进行存储空间的扩展。
一、创建NFS服务主机
1、创建实例
在京东云上创建一台云主机，作为NFS服务器；NFS服务要和已有云资源创建在同一区域，同一VPC中。
登录京东云控制台，选择弹性计算-云主机-实例，选择创建实例所属地域，点击“创建”按钮，进入云主机购买页面。

2、选择计费模式
包年包月和按配置计费，包年包月按一个正月进行购买付费，按配置计费按照实际使用的时长（精确至秒）每小时进行扣费。

3、地域与可用区选择
在此步骤仍可以选择实例对应的地域（华北-北京、华南-广州、华东-宿迁及华东-上海）及可用区，请注意“不同地域资源内网不互通，创建之后不可更改”，如果所选地域限额已满，可以通过提交工单提升限额。

4、创建方式选择
提供三种创建方式 自定义创建、使用实例模板创建、在高可用组内创建，后两种需要您预先创建好实例模板和高可用组，我们使用保持默认选项“自定义创建”。

5、选择windows系统镜像
镜像分为云硬盘系统盘镜像及本地盘系统盘镜像，前者仅支持创建系统盘为云硬盘的实例，后者仅支持创建系统盘为本地盘的实例。因为搭建windows系统环境的NFS存储，故镜像选择官方-windows server-windows server 2012 R2标准版。

6、选择实例规格
实例的规格支持用户自定义选择，从最小的1核1G（如g.s1.micro）到72C576GB（如m.n2.18xlarge），用户可以根据不同业务场景选择实例规格及相应配置。考虑到NFS对主机计算性能要求不高，选择2核4G规格主机。

7、配置NFS存储
云主机数据盘：数据盘为NFS系统存储盘，可以根据实际业务需要选择容量。（此处选择20G为例）

8、配置实例网络
选择私有网络及子网：VPC子网选择与需要访问NFS存储的云主机所在的VPC。
选择内网IP分配方式：如对内网IP地址没有特殊要求，可以不指定由系统自动在子网可用网段内分配，如需指定请在提示范围内输入，系统会校验IP是否可用。须注意的是，若选择自定义内网IP地址，则无法批量创建实例。
9、选择安全组
实例在创建时必须绑定一个安全组，若当前地域下未创建自定义安全组，可以在系统创建的三个默认安全组中选择一个绑定（每个私有网络创建成功之后都会自动创建三个默认安全组），也可以通过快速入口前往安全组页面创建安全组。由于官方镜像系统内防火墙默认关闭，建议绑定仅开放22端口（Linux）或3389端口（Windows）的安全组，实例创建之后再根据访问需求创建新的安全组并绑定。

10、配置公网带宽
带宽计费方式：京东云提供按固定带宽和按使用流量两种带宽计费类型的弹性公网IP，按固定带宽计费按购买时设置的带宽上限值付费，而与实际访问公网所用带宽无关，按使用流量计费则根据您实时访问公网的实际流量计费。
线路：弹性公网IP线路分为：BGP和非BGP，若您需要更快更高效的网络接入请选用BGP。
带宽范围：1Mbps~200Mbps。在创建主机过程中可以暂不购买公网IP，完成主机创建后，再进行绑定。
NFS存储如果只供VPC内云主机使用，可以不购买公网IP和带宽。

11、设置实例名称、描述
您需要设置创建的主机名，名称不可为空，只支持中文、数字、大小写字母、英文下划线“ _ ”及中划线“ - ”，且不能超过32字符，如果为批量创建购买，名称以“xxx1”、“xxx2”依次显示。同时支持为实例添加描述，描述允许为空，若添加长度不能超过256字符。

12、设置密码
可以选择“立即设置”密码，也可以选择“暂不设置”（系统会以短信和邮件方式发送默认密码），密码除了用于SSH登录实例时的密码，也是控制台通过VNC登录实例的密码。

确认云主机数量及购买时长 购买数量受限该地域您云主机、云硬盘、公网IP限额以及所选子网剩余IP数量，若限额不够，可通过提交工单提升限额。若购买包年包月实例，则需要设置购买时长，最短为1个月，最长为2年，支付十个月费用即可享受一年服务。若需要更长服务时长请提交工单。
点击确认后，返回到控制台，显示创建中，待状态为运行，NFS服务主机创建完毕。

13、登陆云主机

14、添加数据盘
打开，开始菜单-服务器管理器-文件和存储服务-磁盘，如下图：

选择数据硬盘，右键选择新建卷，文件格式为NTSF

二、建立NFS服务

1、安装NFS服务器端组件
打开，开始菜单-服务器管理器”，在主页仪表板中单击“添加角色和功能”，如下图所示。

在“开始之前”对话框中，会显示配置成NFS服务器必要的前提步骤，请按文字介绍的注意事项确认一下，如果没有问题的话，可以单击“下一步”，如下图所示：

在“安装类型”对话框中，选择“基于角色或基于功能的安装”，然后单击“下一步”，如下图所示：

在“服务器选择”对话框中，选择“从服务器池中选择服务器”，然后单击“下一步”：

在“服务器角色”对话框中，选择“文件和存储服务”中“NFS服务器”，然后单击“下一步”，如下图所示：

继续单击“下一步”，如下图所示：

在“确认”对话框中，可以看到我们从第一步到最后一步选择的参数等信息，如果有要修改的地方，可以单击“上一步”返回修改，确认没有问题的话，可以单击“安装”，如下图所示：

至此，Windows系统的NFS服务端安装完毕，根据提示重启服务器。

2、创建共享服务
NFS服务端安装完毕，回到服务器管理器，选择文件和存储服务

选择 共享-启动新加共享向导

选择“NFS共享-快速”

选择数据盘，设置共享名称

选择“身份验证”相关配置，如下图所示：

设置共享权限，权限请根据实际需要设置

创建完毕，显示”已成功创建共享“，如下图所示：

3、设置共享文件夹
在要设定共享的文件夹属性中，选择“NFS共享”栏位，点击“管理NFS共享”， 在“NFS高级共享”对话框中，选择并勾选“共享此文件夹”：

返回服务器管理器，共享对话框中，可以看到刚才新建的文件夹共享已经成功
参考资料：
1、文件存储、块存储还是对象存储？redhat官网
2、块存储、文件存储、对象存储这三者的本质差别是什么？．知乎．2016-1-1[引用日期2017-10-04]
（https://ke..com/reference/18736489/a856jWYROoQogtX1hq-v--）
3、今非昔比：块存储的复杂度提高 ．TechTarget存储[引用日期2015-10-21]（https://ke..com/reference/18736489/_rJK0l8aRaFmmhbzPj4Kk-4OMDrn9AGlEt1D-YeUws8wnhuYuc7rJUcaI-B0fg）

点击"京东云"了解更多详情

B. Linux搭建NFS服务器

作者：SpookZanG
linux搭建NFS服务器
一、什么是NFS服务
NFS是Network
File
System的简写,即网络文件系统.
网络文件系统是FreeBSD支持的文件系统中的一种，也被称为NFS.
NFS允许一个系统在网络上与它人共享目录和文件。通过使用NFS，用户和程序可以象访问本地文件一样访问远端系统上的文件。
二、NFS的优势
1.本地工作站使用更少的磁盘空间，因为通常的数据可以存放在一台机器上而且可以通过网络访问到。
2.用户不必在每个网络上机器里头都有一个home目录。Home目录
可以被放在NFS服务器上并且在网络上处处可用。
3.诸如软驱，CDROM，和
Zip®
之类的存储设备可以在网络上面被别的机器使用。这可以减少整个网络上的可移动介质设备的数量。
NFS至少有两个主要部分：一台服务器和一台（或者更多）客户机。客户机远程访问存放在服务器上的数据。为了正常工作，一些进程需要被配置并运行。
三、NFS的搭建
1、服务器端
安装NFS的服务程序
yum
install
-y
nfs-utils
写配置文件
写入
/music
192.168.0.0/255.255.255.0(rw,sync)
格式是：
要共享的目录
共享的IP及掩码或者域名（权限,同步更新）
启动服务
/etc/init.d/portmap
restart
/etc/init.d/nfs
restart
chkconfig
nfs
on
chkconfig
portmap
on
然后关闭防火墙以及更改Selinux关于NIS的选项
/etc/init.d/iptables
stop
（防护墙服务关闭）
chkconfig
iptables
off
system-config-selinux
（设置selinux）
2、客户端
编辑fstab文件，实现开机自动挂载
mount
-t
nfs
IP:/目录
挂载到的目录
（此为临时挂载）
如：mount
-t
nfs
192.168.0.9:/doce
/doc
编辑FSTAB文件
vim
/etc/init.d/fstab
IP:/目录
挂载到的目录
nfs
defaults
0
0
然后关闭防火墙以及更改Selinux关于NIS的选项
/etc/init.d/iptables
stop
（防护墙服务关闭）
chkconfig
iptables
off
system-config-selinux
（设置selinux）
至此，搭建完毕。

C. 小鸟云的云主机的Linux怎么卖搭建搭建XFS文件系统

XFS是高性能文件系统，SGI为他们的IRIX平台而设计。自从年移植到Linux内核上，由于它的高性能，XFS成为了许多企业级系统的首选，特别是有大量数据，需要结构化伸缩性和稳定性的。例如，RHEL/CentOS 7 和Oracle Linux将XFS作为默认文件系统，SUSE/openSUSE已经为XFS做了长期支持。XFS有许多独特的性能提升功能使他从众多文件系统中脱颖而出，像可伸缩/并行 IO，元数据日志，热碎片整理，IO 暂停/恢复，延迟分配等。如果你想要创建和挂载XFS文件系统到你的Linux平台，下面是相关的操作命令。
安装XFS系统工具集
首先，你需要安装XFS系统工具集，这样允许你执行许多XFS相关的管理任务。（例如：格式化，扩展，修复，设置配额，改变参数等）
$ sudo apt-get install xfsprogs # Debian, Ubuntu , Linux Mint系统$ sudo yum install xfsprogs # CentOS, RHEL系统$ sudo pacman -S xfsprogs #创建 XFS格式分区

先准备一个分区来创建XFS。假设你的分区在/dev/sdb,如下：
$ sudo fdisk /dev/sdb

假设此创建的分区叫/dev/sdb1。
接下来，格式化分区为XFS，使用mkfs.xfs命令。如果已有其他文件系统创建在此分区，必须加上”-f”参数来覆盖它。
$ sudo mkfs.xfs -f /dev/sdb1
至此你已经准备好格式化后分区来挂载。假设/data 是XFS本地挂载点。使用下述命令挂载：
$ sudo mount -t xfs /dev/sdb1 /data

验证XFS挂载是否成功：
$ df -Th /data

D. 如何部署hadoop分布式文件系统

一、实战环境
系统版本：CentOS 5.8x86_64
java版本：JDK-1.7.0_25
Hadoop版本：hadoop-2.2.0
192.168.149.128namenode （充当namenode、secondary namenode和ResourceManager角色）
192.168.149.129datanode1 （充当datanode、nodemanager角色）
192.168.149.130datanode2 （充当datanode、nodemanager角色）

二、系统准备

1、Hadoop可以从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src 源码自行编译。（如果是真实线上环境，请下载64位hadoop版本，这样可以避免很多问题，这里我实验采用的是32位版本）
1234 Hadoop
Java

2、我们这里采用三台CnetOS服务器来搭建Hadoop集群，分别的角色如上已经注明。
第一步：我们需要在三台服务器的/etc/hosts里面设置对应的主机名如下（真实环境可以使用内网DNS解析）
[root@node1 hadoop]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1localhost.localdomain localhost
192.168.149.128node1
192.168.149.129node2
192.168.149.130node3

（注* 我们需要在namenode、datanode三台服务器上都配置hosts解析）
第二步：从namenode上无密码登陆各台datanode服务器，需要做如下配置:
在namenode 128上执行ssh-keygen，一路Enter回车即可。
然后把公钥/root/.ssh/id_rsa.pub拷贝到datanode服务器即可，拷贝方法如下：
ssh--id -i .ssh/id_rsa.pub [email protected]
ssh--id -i .ssh/id_rsa.pub [email protected]

三、Java安装配置
tar -xvzf jdk-7u25-linux-x64.tar.gz &&mkdir -p /usr/java/ ; mv /jdk1.7.0_25 /usr/java/ 即可。
安装完毕并配置java环境变量，在/etc/profile末尾添加如下代码：
export JAVA_HOME=/usr/java/jdk1.7.0_25/
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVE_HOME/lib/dt.jar:$JAVE_HOME/lib/tools.jar:./

保存退出即可，然后执行source /etc/profile 生效。在命令行执行java -version 如下代表JAVA安装成功。
[root@node1 ~]# java -version
java version "1.7.0_25"
Java(TM) SE Runtime Environment (build 1.7.0_25-b15)
Java HotSpot(TM) 64-Bit Server VM (build 23.25-b01, mixed mode)

（注* 我们需要在namenode、datanode三台服务器上都安装Java JDK版本）
四、Hadoop版本安装
官方下载的hadoop2.2.0版本，不用编译直接解压安装就可以使用了，如下：
第一步解压:
tar -xzvf hadoop-2.2.0.tar.gz &&mv hadoop-2.2.0/data/hadoop/
（注* 先在namenode服务器上都安装hadoop版本即可，datanode先不用安装，待会修改完配置后统一安装datanode）

第二步配置变量：
在/etc/profile末尾继续添加如下代码，并执行source /etc/profile生效。
export HADOOP_HOME=/data/hadoop/
export PATH=$PATH:$HADOOP_HOME/bin/
export JAVA_LIBRARY_PATH=/data/hadoop/lib/native/
（注* 我们需要在namenode、datanode三台服务器上都配置Hadoop相关变量）

五、配置Hadoop
在namenode上配置，我们需要修改如下几个地方：
1、修改vi /data/hadoop/etc/hadoop/core-site.xml 内容为如下：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"href=\'#\'" Put site-specific property overrides inthisfile. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.149.128:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop-${user.name}</value>
<description>A base forother temporary directories.</description>
</property>
</configuration>

2、修改vi /data/hadoop/etc/hadoop/mapred-site.xml内容为如下：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"href=\'#\'" Put site-specific property overrides inthisfile. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.149.128:9001</value>
</property>
</configuration>

3、修改vi /data/hadoop/etc/hadoop/hdfs-site.xml内容为如下：
<?xml version="1.0"encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl"href=\'#\'" /name>
<value>/data/hadoop/data_name1,/data/hadoop/data_name2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/data/hadoop/data_1,/data/hadoop/data_2</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

4、在/data/hadoop/etc/hadoop/hadoop-env.sh文件末尾追加JAV_HOME变量：
echo "export JAVA_HOME=/usr/java/jdk1.7.0_25/">> /data/hadoop/etc/hadoop/hadoop-env.sh

5、修改 vi /data/hadoop/etc/hadoop/masters文件内容为如下：
192.168.149.128

6、修改vi /data/hadoop/etc/hadoop/slaves文件内容为如下：
192.168.149.129
192.168.149.130

如上配置完毕，以上的配置具体含义在这里就不做过多的解释了，搭建的时候不明白，可以查看一下相关的官方文档。
如上namenode就基本搭建完毕，接下来我们需要部署datanode，部署datanode相对简单，执行如下操作即可。
1 fori in`seq 129130` ; doscp -r /data/hadoop/ [email protected].$i:/data/ ; done

自此整个集群基本搭建完毕，接下来就是启动hadoop集群了。

E. 校园内网如何搭建nas

校园内网搭建nas方法及要求如下：

首先你要确认你们学校的供电情况，晚上会断电那种的学校，每天NAS都会断电一次对硬盘可是个不小的体验。

如果能24小时供电，那么恭喜，可以往下看了。

首先一般来说在学校放NAS实在是不明智的选择，如果一定要，那么首先你需要一个路由器，不需要太高端的，普通的就行，但是要看学校是否开启了除了PPPoE认证以外的认证（比如锐捷等IEEE 802.1X认证），如果开了，就需要找能用拨号器的路由器了，这里不展开。

假定你前面都搞定了，就只需要将路由器连上网，配置好用户名密码，然后将NAS的网口和路由器的LAN口连接起来，开机。

在同一个路由器下的电脑就可以访问到NAS了，在系统设置里面有内网穿透功能。

假定你用的是群晖，那么就打开ConnectID功能，配置好你想要的ConnectID。

OK，只要路由器开着，网没断，你就可以通过ConnectID访问NAS了。

但是学校一般没有公网IP，就算有也不可能每个宿舍一个公网IP，而且运营商还屏蔽了SAMBA的端口，所以基本不太可能用SAMBA的方式来访问了。

就用WEB页面也相关APP试用一下吧。

NAS简介

NAS（Network Attached Storage：网络附属存储）按字面简单说就是连接在网络上，具备资料存储功能的装置，因此也称为“网络存储器”。它是一种专用数据存储服务器。

它以数据为中心，将存储设备与服务器彻底分离，集中管理数据，从而释放带宽、提高性能、降低总拥有成本、保护投资。其成本远远低于使用服务器存储，而效率却远远高于后者。目前国际著名的NAS企业有Netapp、EMC、OUO等。

NAS解决方案通常配置为作为文件服务的设备，由工作站或服务器通过网络协议（如TCP/IP）和应用程序（如网络文件系统NFS或者通用Internet文件系统CIFS）来进行文件访问。大多数NAS连接在工作站客户机和NAS文件共享设备之间进行。这些连接依赖于企业的网络基础设施来正常运行。

为了提高系统性能和不间断的用户访问，NAS采用了专业化的操作系统用于网络文件的访问，这些操作系统既支持标准的文件访问，也支持相应的网络协议，因此NAS技术能够满足特定的用户需求。

例如当某些企业需要应付快速数据增长的问题，或者是解决相互独立的工作环境所带来的系统限制时，可以采用新一代NAS技术，利用集中化的网络文件访问机制和共享来解决这些问题，从而达到减少系统管理成本，提高数据备份和恢复功能的目的。

F. 树莓派搭建文件服务器

https://www.raspberrypi.org/downloads/raspberry-pi-os/

安装 Etcher 之迅段后启动 Etcher，插入 SD 卡、选择要安装的 img 文件、选择 SD 卡对应的磁盘分区
https://www.balena.io/etcher/

① 新建一个ssh空白文件，放到root目录下，树莓派开机会自动启用
② 网络优先选择有线网络
③ 无线网络
将刷好 Raspbian 系统的 SD 卡用电脑读取。在 boot 分区，也就是树莓派的 /boot 目录下新建

具体详情看下面
https://shumeipai.nxez.com/2017/09/13/raspberry-pi-network-configuration-before-boot.html

方法1:利用路由器软件查看IP地址

方法2:

ssh连接默罩昌激认用户名：pi 密码：raspberry

方法3:IP Scanner

1.切换 root权限 sudo su
2.编辑下列文件

连物袜接raw.githubusercontent.com失败
step1 ：
在 https://site.ip138.com/raw.Githubusercontent.com/
输入raw.githubusercontent.com查询IP地址
step2 ：
sudo nano /etc/hosts
你查到的ip地址，香港的就行 raw.githubusercontent.com
比如：
151.101.76.133 raw.githubusercontent.com

OpenMediaVault项目地址：
https://github.com/OpenMediaVault-Plugin-Developers/installScript

执行安装脚本：

step1:
输入树莓派的IP地址
初始用户名：admin
密码：openmediavault
step2:
1.连接硬盘
2.文件系统—>卸载硬盘
3.磁盘—>擦除
4.文件系统—>新建 文件系统选择EXT4
5.挂载—>应用
6.共享文件夹—>新建一个文件夹 设置权限
7.SMB/CIFS —>启用
8.共享—>添加共享

mac登陆
前往：连接服务器 smb://树莓派的ip地址
windows
我的电脑—>右键—>映射网络驱动器—>找到共享的文件夹

G. 基于mogileFS搭建分布式文件系统--海量小文件的存储利器

1.简介

分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。例如，用户可以“发表”一个允许其他客户机访问的目录，一旦被访问，这个目录对客户机来说就像使用本地驱动器一样。

当下我们处在一个互联网飞速发展的信息 社会 ，在海量并发连接的驱动下每天所产生的数据量必然以几何方式增长，随着信息连接方式日益多样化，数据存储的结构也随着发生了变化。在这样的压力下使得人们不得不重新审视大量数据的存储所带来的挑战，例如：数据采集、数据存储、数据搜索、数据共享、数据传输、数据分析、数据可视化等一系列问题。

传统存储在面对海量数据存储表现出的力不从心已经是不争的事实，例如：纵向扩展受阵列空间限制、横向扩展受交换设备限制、节点受文件系统限制。

然而分布式存储的出现在一定程度上有效的缓解了这一问题，之所以称之为缓解是因为分布式存储在面对海量数据存储时也并非十全十美毫无压力，依然存在的难点与挑战例如：节点间通信、数据存储、数据空间平衡、容错、文件系统支持等一系列问题仍处在不断摸索和完善中。

2.分布式文件系统的一些解决方案

Google Filesystem适合存储海量大个文件，元数据存储与内存中

HDFS（Hadoop Filesystem）GFS的山寨版，适合存储大量大个文件

TFS（Taobao Filesystem）淘宝的文件系统，在名称节点上将元数据存储与关系数据库中，文件数量不在受限于名称节点的内容空间，可以存储海量小文件LustreOracle开发的企业级分布式系统，较重量级MooseFS基于FUSE的格式，可以进行挂载使用MogileFS

擅长存储海量的小数据，元数据存储与关系型数据库中

1.简介

MogileFS是一个开源的分布式文件系统，用于组建分布式文件集群，由LiveJournal旗下DangaInteractive公司开发，Danga团队开发了包括 Memcached、MogileFS、Perlbal等不错的开源项目：(注：Perlbal是一个强大的Perl写的反向代理服务器)。MogileFS是一个开源的分布式文件系统。

目前使用 MogileFS 的公司非常多,比如国外的一些公司,日本前几名的公司基本都在使用这个.

国内所知道的使用 MogileFS 的公司有图片托管网站 yupoo又拍,digg, 土豆, 豆瓣,1 号店, 大众点评,搜狗,安居客等等网站.基本很多网站容量，图片都超过 30T 以上。

2.MogileFS特性

1) 应用层提供服务，不需要使用核心组件

2）无单点失败，主要有三个组件组成，分为tracker（跟踪节点）、mogstore（存储节点）、database（数据库节点）

3）自动复制文件，复制文件的最小单位不是文件，而是class

4）传输中立，无特殊协议，可以通过NFS或HTTP实现通信

5）简单的命名空间：没有目录，直接存在与存储空间上，通过域来实现

6）不用共享任何数据

3.MogileFS的组成

1）Tracker--跟踪器，调度器

MogileFS的核心，是一个调度器，mogilefsd进程就是trackers进程程序,trackers的主要职责有：删除数据、复制数据、监控、查询等等.这个是基于事件的( event-based ) 父进程/消息总线来管理所有来之于客户端应用的交互(requesting operations to be performed), 包括将请求负载平衡到多个"query workers"中,然后让 mogilefs的子进程去处理.

mogadm,mogtool的所有操作都要跟trackers打交道,Client的一些操作也需要定义好trackers,因此最好同时运行多个trackers来做负载均衡.trackers也可以只运行在一台机器上，使用负载均衡时可以使用搞一些简单的负载均衡解决方案，如haproxy，lvs，nginx等，

tarcker的配置文件为/etc/mogilefs/mogilefsd.conf，监听在TCP的7001端口

2）Database--数据库部分

主要用来存储mogilefs的元数据，所有的元数据都存储在数据库中，因此，这个数据相当重要，如果数据库挂掉，所有的数据都不能用于访问，因此，建议应该对数据库做高可用

3）mogstored--存储节点

数据存储的位置，通常是一个HTTP（webDAV）服务器，用来做数据的创建、删除、获取，任何 WebDAV 服务器都可以, 不过推荐使用 mogstored . mogilefsd可以配置到两个机器上使用不同端口… mogstored 来进行所有的 DAV 操作和流量,IO监测, 并且你自己选择的HTTP服务器(默认为 perlbal)用来做 GET 操作给客户端提供文件.

典型的应用是一个挂载点有一个大容量的SATA磁盘. 只要配置完配置文件后mogstored程序的启动将会使本机成为一个存储节点.当然还需要mogadm这个工具增加这台机器到Cluster中.

配置文件为/etc/mogilefs/mogstored.conf，监听在TCP的7500端口

4.基本工作流程

应用程序请求打开一个文件 (通过RPC 通知到 tracker, 找到一个可用的机器). 做一个 “create_open” 请求.

tracker 做一些负载均衡(load balancing)处理，决定应该去哪儿，然后给应用程序一些可能用的位置。

应用程序写到其中的一个位置去 (如果写失败，他会重新尝试并写到另外一个位置去）.

应用程序 (client) 通过”create_close” 告诉tracker文件写到哪里去了.

tracker 将该名称和域命的名空间关联 (通过数据库来做的)

tracker, 在后台, 开始复制文件，知道他满足该文件类别设定的复制规则

然后,应用程序通过 “get_paths” 请求 domain+key (key == “filename”) 文件, tracker基于每一位置的I/O繁忙情况回复(在内部经过 database/memcache/etc 等的一些抉择处理), 该文件可用的完整 URLs地址列表.

应用程序然后按顺序尝试这些URL地址. (tracker’持续监测主机和设备的状态，因此不会返回死连接,默认情况下他对返回列表中的第一个元素做双重检查，除非你不要他这么做..)

1.拓扑图

说明：1.用户通过URL访问前端的nginx

2.nginx根据特定的挑选算法，挑选出后端一台tracker来响应nginx请求

3.tracker通过查找database数据库，获取到要访问的URL的值，并返回给nginx

4.nginx通过返回的值及某种挑选算法挑选一台mogstored发起请求

5.mogstored将结果返回给nginx

6.nginx构建响应报文返回给客户端

2.ip规划

角色运行软件ip地址反向代理nginx192.168.1.201存储节点与调度节点1

mogilefs192.168.1.202存储节点与调度节点2

mogilefs192.168.1.203数据库节点

MariaDB192.168.1.204

3.数据库的安装操作并为授权

关于数据库的编译安装，请参照本人相关博文http://wangfeng7399.blog.51cto.com/3518031/1393146，本处将不再累赘，本处使用的为yum源的安装方式安装mysql

4.安装mogilefs. 安装mogilefs，可以使用yum安装，也可以使用编译安装，本处通过yum安装

5.初始化数据库

可以看到在数据库中创建了一些表

6.修改配置文件，启动服务

7.配置mogilefs

添加存储主机

添加存储设备

添加域

添加class

8.配置192.168.1.203的mogilefs 。切记不要初始化数据库，配置应该与192.168.1.202一样

9.尝试上传数据，获取数据，客户端读取数据

上传数据，在任何一个节点上传都可以

获取数据

客户端查看数据

我们可以通过任何一个节点查看到数据

要想nginx能够实现对后端trucker的反向代理，必须结合第三方模块来实现

1.编译安装nginx

2.准备启动脚本

3.nginx与mofilefs互联

查看效果

5.配置后端truckers的集群

查看效果

大功告成了，后续思路，前段的nginx和数据库都存在单点故障，可以实现高可用集群