⑴ MinIO的搭建
MinIO是在GUN Affero通用公共许可证v3.0下发布的高性能的对象存储。它是与Amazon S3云存储服务兼容的API。使用MinIO为机器学习、分析和隐月宫程序数据工作负载构建野盯消高性能基础架构。
MinIO对象存储使用buckets(桶)来组织对象,桶类似于文件系统中的目录/文件夹,可以存放任意数量的对象,它提供颂知与 AWS S3 buckets 相同的功能。
bucket多版本存储:MinIO支持同一个对象在一个桶中存在多个版本。
安装(rpm方法):
启动:
添加防火墙端口9000和9001
添加主机名
之后就可以通过 server1:9000 来访问 MinIO 控制台了
后续还可以通过server2、server3来命名其他主机,从而可以通过server{1…3}来指定3个服务则码器。
其中:
⑵ MinIO 快速入门之一 —— MinIO 简介
MinIO 官网
MinIO 官方GitHub
MinIO 官方文档
关于对象存储,我们可以看下 阿里云OSS 的解释。
对象存储最大的优势就在于它可以存储大容量的非结构化数据,例如图片、视频、日志扰衡文件、备份数据和容器/虚拟机镜像等。对于大多数的企业来说,这可以说是最为理想的存储媒介了。
对于业务已在公有云上的企业来说,使用公有云提供的 OSS 服务,可以很好的节省存储的成本,且一般都提供易接入的 SDK,以阿里云的OSS 服务为例,在存储介质的上层封装可标注的 RESTful API 接口,使用起来十分方便。
但是对于一些没有选择业务上云或者想要下云的企业来说,要使用公有云的 OSS,在公网带宽方面就需要有一定的投入,毕竟需要通过公网传输,带宽太小,传输速度就会慢,且在传输过程中数据的安全性和完整性也有损失的风险,走专线的费用又十分昂贵,不实在。
这种情况下,MinIO 就是一个不错的选择,麻雀虽小,五脏俱全,企业可以以此快速构建自己内部的对象存储服务。
Minio 是个基于 Golang 编写的开源对象存储套件,基于Apache License v2.0开源协议,虽然轻量,却拥有着不错的性能。它兼容亚马逊S3云存储服务接口。可以很简单的和其他应用结合使用,例如 Nodejs、Redis、MySQL等。
如下图,MinIO 的应用场景除了可以作为私有云的对象存储服务来使用,也可以作为云对象存储的网关层,无缝对接 Amazon S3 或者 MicroSoft Azure 。
Minio 使用纠删码 erasure code 和校验和 checksum 。 即便丢失一半数量(N/2)的硬盘,仍然可以恢复数据。
保护数据免受硬件故障和无声数据损坏
纠删码是一种恢复丢失和损坏数据的数学算法,目前,纠删码技术在分布式存储系统中的应用主要有三类,阵列纠删码(Array Code: RAID5、RAID6等)、RS(Reed-Solomon)里德-所罗门类纠删码和LDPC(LowDensity Parity Check Code)低密度奇偶校验纠删码。Erasure Code是一种编码技术,它可以将n份原始数据,增加m份数据,并能通过n+m份中的任意n份数据,还原为原始数据。即如果有任意小于等于m份的数据失效,仍然能通过剩下的数据还原出来。
Minio采用Reed-Solomon code将对象拆分成N/2数据和N/2 奇偶校验块。 这就意味着如果是12块盘,一个对象会被分成6个数据块、6个奇偶校验块,可以丢失任意6块盘(不管其是存放的数据块还是奇偶校验块),仍可以从剩下的盘中的数据进行恢复。
RS编码以word为编码和解码单位,大的数据块拆分到字长为w(取值一般为8或者16位)的word,然后对word进行编解码。 数据块的编码原理与word编码原理相同,后文中以word为例说明,变量Di, Ci将代表一个word。
把输入数据视为向量D=(D1,D2,..., Dn), 编码后数据视为向量(D1, D2,..., Dn, C1, C2,.., Cm),RS编码可视为如下(图1)所示矩阵运算。
图1最左边是编码矩阵(或称为生成矩阵、分布团清矩阵,Distribution Matrix),编码矩阵需要满足任意n*n子矩阵可逆。为方便数据存储,编码矩阵上部是单位阵(n行n列),下部是m行n列矩阵。下部矩阵可以选择范德蒙德矩阵或柯西矩阵。
RS最多能容忍m个数据块被删除。 数据恢复的过程如下:
(1)假设D1、D4、C2丢失塌李前,从编码矩阵中删掉丢失的数据块/编码块对应的行。(图2、3)
(2)由于B' 是可逆的,记B'的逆矩阵为 (B'^-1),则B' * (B'^-1) = I 单位矩阵。两边左乘B' 逆矩阵。 (图4、5)
(3)得到如下原始数据D的计算公式 。
(4)对D重新编码,可得到丢失的编码
https://www.jianshu.com/p/c2b43ff67df0
⑶ 分布式存储极简艺术Minio解析
MinIO 对象存储系统是为海量数据存储、人工智能、大数据分析而设计,基于
Apache License v2.0 开源协议的对象存储系统,它完全兼容 Amazon S3 接口,单个对象的最大可达 5TB,适合存储海量图片、视频、日志文件、备份数据和容器/虚拟机镜像等。作为一个开源服务,MinIO 在设计上汲取了Glusterfs的相关经验不教训,系统复杂度上作了大量简化,目前大小只有40+M,部署只需要一个命令即可完成!另外,minio舍弃了传统分布式存储扩容所需要的迁移流程,采用联盟模式添加集群的方式,极大简化了扩容流程;除此之外,minio还具有纠删编码、比特位保护、单写多读(worm)、下面来依次简要解析一下Mioio的特点及具体实现:
元数据和数据一起存放在磁盘上。元数据以明文形式存放在元数据文件里(xl.json)。假定对象名字为key_name, 它所在桶的名字是bucket_name, disk路径就是/disk,那么存储路径就是:/disk/bucket_name/key_name,windows下C盘存放桶名为test,对象名为minio.exe示例如图:
其中part.1是实际存储数据(单机模式为原生数据,分布式为纠删码分块),xl.json是如下所示的json字符串:
在同一集群内,MinIO 自己会自劢生成若干纠删组,用于分布存放桶数据。一个纠删组中的一定数量的磁盘发生的故障(故障磁盘的数量小于等于校验盘的数量),通过纠删码校验算法可以恢复出正确的数据。MinIO 集成了 Reed-Solomon 纠删码库,MinIO 存储对象数据时,首先把它分成若干等长的片段(对于大对象,默认按 5MB 切片),然后每一个片段会纠删算法分成若干分片,包括数据分片不校验分片,每个分片放置在一个纠删组的某个节点上。对象的每一个数据分片、校验分片都被“防比特位衰减”算法所保护。
MinIO 会根据对象名(类似于文件烂饥系统的全路径名),使用 crc32 哈希算法计算出一个整数。然后使用这个整数除以纠删组的个数搭仔,得到一个余数。这个余数,可以作为纠删组的序号,这样就确定了这个对象所在的纠删组。MinIO 采用 CRC32 哈希算法,不 glusterfs 的Davies Meyer哈希算法(性能、冲突概率不md4, md5相近)不一样的是,CRC32算法的哈希值分布较不均匀,但运算速度极快,高出 md4 数倍。相对于容量均衡,MinIO 更看重数据的写入速度。
纠删组如何配置?
官方文档说明如下:
也就是说纠删组的总大小只能从这7中情况中根据你提供的盘的个数(或者说路径个数)来自动选取最大值的,我们 不能灵活地配置m+k纠删存储格式。但这样说又不是很准确 ,因为虽然不能配置任意的m+k,但是在系统已经选取好擦除编码集的的个数后(也就是m+k),可以使用storage class存储类来自定义m和k的数量,默认是1:1的。
存储类:
MinIO支持配置两种存储类别,精简冗余类别和标准类别,默认是标准类别(1:1),可以在启动MinIO服务器之前使用设置的环境变量来定义这些类。使用环境变饥枝返量定义每个存储类别的数据和奇偶校验磁盘后,您可以 在上传对象时通过请求元数据字段设置对象的存储类别x-amz-storage-class 。然后,MinIO服务器通过将对象保存在特定数量的数据和奇偶校验磁盘中来兑现存储类。具体配置和使用可以参考官方文档 https://github.com/minio/minio/tree/master/docs/erasure/storage-class
传统的扩展方式的劣势
通过增加节点来扩展单集群,一般需要进行数据均衡,否则群集内各存储节点会因负载不均而出现新的瓶颈。除了数据均衡操作的时机这个问题以外,在均衡过程中一般需要仍存储使用率高的节点吐使用率低的节点迁移数据。当集群扩容后,大量已经写入的文件落点会出现改变,文件需要迁移到真实的落点。当存储系统容量比较大时,则会发生大量的文件/对象进行迁移,迁移过程可能由于占用大量资源而导致上层应用性能下降。而且当文件/对象迁移过程中,机器故障可能会导致一些意想不到的情冴,尤其是有大量业务的时候。当然针对此类问题,Gluterfs之类的文件系统有一些比较复杂的处理办法。
不支持扩展优势
⑷ CentOS7 宝塔面板 MinIO安装部署/服务开机启动
安装minio服务
下载minio,建议下载到/usr/local/bin/ 目录下,可全局访问
宝塔面板后台对MinIO服务端口放行:9000 36266
根目圆桐宏录创建一个 /data/share 文件夹,可随意找地方创建,注意路径
启动:minio server /data/share
启动成功会自动输出访问地址和默认的登陆账号密码,浏览器里直接访问。
后台服务挂起
chmod +x /etc/rc.d/rc.local
nohup minio server /data/share --console-address 0.0.0.0:36266 > /data/minio.log 2>&1 &
创建一个 minio 配置文件,内容如下:
MINIO_VOLUMES:对应橘册上面创建的文件夹
MINIO_OPTS:–轮棚address是内网对应端口,–console-address是外网访问对应端口
CentOS 7 是在/lib/systemd/system/下,创建minio.service 内容如下:
AssertFileIsExecutable:minio服务的位置
EnvironmentFile:这个就是上面对配置文件位置
重新加载服务的配置文件
配置开机自启动
最后重启服务器验证。
提供一下minio client客户端下载地址:
https://dl.min.io/client/mc/release/windows-amd64/
⑸ 使用minio存储文件到多级目录下
minio存放文件需要使用链中饥putObject()方法
minioClient.putObject(bucketName,objectName,PutObjectOptions options)
而存培誉放到多级目录的关键就是objectName,不是bucketName!
bucketName相当于一个根目录。
不能以 String bucketName = "a/b"
只能是一个文件夹 String bucketName= "a"
需要存放到多级目录下棚返时,可以选择
String objectName = "b/c/d/a.txt"
用objectName 以‘/’分隔的路径即可
⑹ 怎么解压minio服务器上的文件
要解压MinIO服务器上的文件,请按照以下步骤操作哗丛:
连接到MinIO服务器:打开您的Web浏览器,并输入MinIO服务器的URL。输入您的凭证以登录到MinIO Console。
导航到要解压的文件:在MinIO Console中,导航到包含要漏棚解压的文件的存储桶和文件夹。
下载文件:将鼠标悬停在要解压的文件上,并单击文件名旁边的“下载”按钮。将文件下载到您的本地计算机。
解压文件:在您的本地计算机上,使用任何支持的解压缩工具(如WinZip或7-Zip)打开已下载的文件,并将其解压缩到您选择的位置。
上传解压缩后的文件:将解压缩后的文件上传回MinIO服务器。在MinIO Console中导航到要上传文件的存储桶和文件夹,并单击“上传”按钮。选择解压缩后的文件乱搜樱并上传。
⑺ Spring Boot | 整合 Minio 实现文件上传
文章目录:
MinIO 是一个用 Golang 开发的基于 Apache License v2.0 源协议的磨橘对象存储服务。
它纤游毁兼容亚马逊 S3 云存储服务接口,适合存储大容量非结毁备构化的数据,例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等,单个文件可以是任意大小,从几kb到最大5T不等。
使用 docker 安装
说明:
9020 为控制台访问端口。
创建存储桶:
设置存储桶权限:
MinioProperties.java
MinioConfig.java
FILE_NAME_PATTERN 是上传文件的命名格式。第一个 {} 放的是上传时间,格式是 yyyyMMddHHmmss ,精确到秒。第二个 {} 放的是上传文件的原始文件名。