分布式文件存储系统Minio,tuling,fox,p3 5:27
创始人
2024-03-29 09:36:00

MinIO | 高性能,对Kubernetes友好的对象存储

一 分布式文件系统应用场景

  1. fastDFS
    1. 缺点:
      1. 部署麻烦。
      2. 因为文件名是自动生成的,所以如果要处理文件的话,还要经过额外的编码。
  2. Minio介绍
    1. 应用场景
      1. 互联网海量非结构化数据的存储需求,如             电商网站:海量商品图片             视频网站:海量视频文件             网盘 : 海量文件             社交网站:海量图片
      2. 对于中小型企业,如果不选择存储上云,那么 Minio 是个不错的选择,麻雀虽小,五脏俱全。当然 Minio 除了直接作为对象存储使用,还可以作为云上对象存储服务的网关层,无缝对接到 Amazon S3、 MicroSoft Azure。
      3. 非结构化数据与结构化数据
        1. 非结构化数据:文件、音频、视频、图片
        2. 结构化数据:如常见的关系型数据库(mysql、oracle、sqlserver)用表存储某个网站的会员信息。
    2. minio是什么?
      1. MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。
        1. 对象存储服务(Object Storage Service,OSS)是一种海量、安全、低成本、高可靠的云存储服 务,适合存放任意类型的文件。容量和处理能力弹性扩展,多种存储类型供选择,全面优化存储成 本。
      2. Minio是使用go语言编写的,天然支持跨平台。
    3. minio的优点
      1. 部署简单: 一个single二进制文件即是一切,还可支持各种平台。
      2. minio支持海量存储,可按zone扩展(原zone不受任何影响),支持单个对象最大5TB;
      3. 兼容Amazon S3接口,充分考虑开发人员的需求和体验;
      4. 低冗余且磁盘损坏高容忍,标准且最高的数据冗余系数为2(即存储一个1M的数据对象,实际占用 磁盘空间为2M)。但在任意n/2块disk损坏的情况下依然可以读出数据(n为一个纠删码集合(Erasure Coding Set)中的disk数量)。并且这种损坏恢复是基于单个对象的,而不是基于整个存储卷的。
      5. 读写性能优异
  3. MinIO的基础概念
    1. Object:一个文件 / 视频 / 音频 / 字节流 / Anything......
    2. Bucket:翻译过来是桶,可理解为一个顶层的目录(文件夹)。Bucket是用来装Object的。
    3. Drive:即存储数据的磁盘。
    4. Set :分布式集群场景或多磁盘场景下。一组Drive的集合。
    5. 备注:
      1. 当MinIO集群服务启动以后,表明已经把Drive配置好了(当然,我们需要去指定Drive的位置、存储目录)。
      2. Object和Bucket是我们真正去操作、控制的2个东西,比如想把文件存储到哪个Bucket下面,我们要上传哪些Object。
  4. 纠删码EC(Erasure Code):备份与恢复
    1. 作用:
      1. EC机制是用来保证MinIO高可靠性。
        1. 第一步:EC机制是用来校验数据是否损坏(如本身磁盘(硬件)就损坏了,如单单数据的损坏)。
          1. 校验原理(Bit Rot Protection):直接对MinIO中的文件进行一个hash。因为hash码是唯一的,所以如果hash码不变说明文件没有损坏,反之说明文件已经损坏了。
        2. 第二步:EC机制是用来做数据冗余和恢复的
          1. 如果数据损坏,可以校验是否是源文件数据损坏了,并且可以使用EC机制highwayhash来处理数据损坏(Bit Rot Protection)。
          2. minIO纠删码还原,是依赖于EC盘的数量去做处理的。
            1. 条件1:所有的盘都是可读的。
            2. 条件2:如果是坏死盘,MinIO是不允许我们再上传新的文件到坏死盘上面去的。
            3. 条件3:大于等于N/2+1的可读的正常状态下的盘的情况下,才能保证有EC盘数据的存在,也才能有可能通过EC机制来恢复数据。
    2. 案例1:EC机制下的数据冗余与恢复
      1. 有6块盘(因为EC机制生效最少需要4块盘)。
      2. 其中4块盘用于存储用户的数据,比如1.jpg。
      3. 其中2块盘用于存储对它EC机制编号后生成的1.jpg。
      4. 如果丢失1份数据,可以是4块盘中之一的1.jpg,也可以是2块盘之一EC后的1.jpg。那么,根据一定的算法可以恢复和还原。
      5. 如果丢失2份数据,而且是2块盘EC后的1.jpg都丢失了,那么不是还有4个盘的1.jpg嘛。
      6. 如果丢失3份数据,4块盘中之一和2块盘EC后的1.jpg都丢失了,那么就无法去恢复和还原了。
    3. 案例2:为了保证数据的冗余和恢复MinIO推荐使用方式
      1. MinIO推荐平均去分配
        1. 8个盘。
        2. 4个盘存源数据,4个盘存EC数据。
        3. 意味着,不管在什么情况下,如果丢失的数据<=4个盘,数据仍可以恢复。
  5. 存储形式
    1. 开启EC模式下的存储形式: 
  6. 存储方案
    1. MinIO集群的存储方案:
      1. 第一步:搭建MinIO集群
      2. 第二步:MinIO集群提供操作的API接口,默认端口9000,可以读写集群中的文件。
      3. 第三步:MinIO集群提供的控制台,端口随便定义,比如50000 

二 Minio环境搭建

  1. 概述:3种模式
  2. 单机部署:
    1. 不使用docker
      1. linux
        第一步:下载: wget https://dl.min.io/server/minio/release/linux-amd64/minio
        第二步:chmod +x minio,把它变成可执行文件。
        第三步:./minio server /data,指定磁盘位置并运行。
      2. window
        第一步:下载:http://dl.minio.org.cn/server/minio/release/windows-amd64/minio.exe
        第二步:minio.exe server D:\,指定磁盘位置并运行
        
    2. 使用docket
  3. 分布式集群部署
  4. Minio客户端使用

三 Minio Java Client使用

  1. 文件上传
  2. 文件下载
  3. Spring boot整合minio

四 Minio控制台使用详解

相关内容

热门资讯

埃菲尔铁塔在哪 中国仿建埃菲尔... 2019年4月26日,广西南宁市,街头惊现一座巨型山寨版埃菲尔铁塔,高约20米,白色塔身,造型逼真,...
苗族的传统节日 贵州苗族节日有... 【岜沙苗族芦笙节】岜沙,苗语叫“分送”,距从江县城7.5公里,是世界上最崇拜树木并以树为神的枪手部落...
北京的名胜古迹 北京最著名的景... 北京从元代开始,逐渐走上帝国首都的道路,先是成为大辽朝五大首都之一的南京城,随着金灭辽,金代从海陵王...
长白山自助游攻略 吉林长白山游... 昨天介绍了西坡的景点详细请看链接:一个人的旅行,据说能看到长白山天池全凭运气,您的运气如何?今日介绍...
世界上最漂亮的人 世界上最漂亮... 此前在某网上,选出了全球265万颜值姣好的女性。从这些数量庞大的女性群体中,人们投票选出了心目中最美...
应用未安装解决办法 平板应用未... ---IT小技术,每天Get一个小技能!一、前言描述苹果IPad2居然不能安装怎么办?与此IPad不...
脚上的穴位图 脚面经络图对应的... 人体穴位作用图解大全更清晰直观的标注了各个人体穴位的作用,包括头部穴位图、胸部穴位图、背部穴位图、胳...
猫咪吃了塑料袋怎么办 猫咪误食... 你知道吗?塑料袋放久了会长猫哦!要说猫咪对塑料袋的喜爱程度完完全全可以媲美纸箱家里只要一有塑料袋的响...
demo什么意思 demo版本... 618快到了,各位的小金库大概也在准备开闸放水了吧。没有小金库的,也该向老婆撒娇卖萌服个软了,一切只...
埃菲尔铁塔在哪 中国仿建埃菲尔... 2019年4月26日,广西南宁市,街头惊现一座巨型山寨版埃菲尔铁塔,高约20米,白色塔身,造型逼真,...
苗族的传统节日 贵州苗族节日有... 【岜沙苗族芦笙节】岜沙,苗语叫“分送”,距从江县城7.5公里,是世界上最崇拜树木并以树为神的枪手部落...
北京的名胜古迹 北京最著名的景... 北京从元代开始,逐渐走上帝国首都的道路,先是成为大辽朝五大首都之一的南京城,随着金灭辽,金代从海陵王...
世界上最漂亮的人 世界上最漂亮... 此前在某网上,选出了全球265万颜值姣好的女性。从这些数量庞大的女性群体中,人们投票选出了心目中最美...
长白山自助游攻略 吉林长白山游... 昨天介绍了西坡的景点详细请看链接:一个人的旅行,据说能看到长白山天池全凭运气,您的运气如何?今日介绍...
应用未安装解决办法 平板应用未... ---IT小技术,每天Get一个小技能!一、前言描述苹果IPad2居然不能安装怎么办?与此IPad不...
脚上的穴位图 脚面经络图对应的... 人体穴位作用图解大全更清晰直观的标注了各个人体穴位的作用,包括头部穴位图、胸部穴位图、背部穴位图、胳...
猫咪吃了塑料袋怎么办 猫咪误食... 你知道吗?塑料袋放久了会长猫哦!要说猫咪对塑料袋的喜爱程度完完全全可以媲美纸箱家里只要一有塑料袋的响...
demo什么意思 demo版本... 618快到了,各位的小金库大概也在准备开闸放水了吧。没有小金库的,也该向老婆撒娇卖萌服个软了,一切只...