FastDFS收藏起来,现在开始用Minio吧

模式苔原
• 阅读 568

一、Minio介绍
MinIO是全球领先的对象存储先锋,目前在全世界有数百万的用户。

高性能 ,在标准硬件上,读/写速度上高达183GB/秒和171GB/秒,拥有更高的吞吐量和更低的延迟
可扩展性 ,为对象存储带来了简单的缩放模型,通过添加更多集群可以扩展空间
简单 ,极简主义是MinIO的指导性设计原则,即可在几分钟内安装和配置
与Amazon S3兼容 ,亚马逊云的 S3 API(接口协议)是在全球范围内达到共识的对象存储的协议,是全世界内大家都认可的标准
数据安全 ,使用纠删码来保护数据免受硬件故障和无声数据损坏

纠删码
纠删码是一种恢复丢失和损坏数据的数学算法, Minio默认采用 Reed-Solomon code将数据拆分成N/2个数据块和N/2个奇偶校验块。这就意味着如果是16块盘,一个对象会被分成8个数据块、8个奇偶校验块,你可以丢失任意8块盘(不管其是存放的数据块还是校验块),你仍可以从剩下的盘中的数据进行恢复。
docs.minio.org.cn/docs/master…
Minio和FastDFS的对比

安装难度
文档
性能
容器化支持
SDK支持

二、Minio安装
  为了快速搞定Minio的部署工作。我们通过Docker-Compose来一键快速部署操作
1.安装DockerCompose
  安装DockerCompose的前提是先安装一个Docker环境,如果还没安装的参考波哥的博客地址:blog.csdn.net/qq_38526573…
  Compose 是用于定义和运行多容器 Docker 应用程序的工具。通过 Compose,您可以使用 YML 文件来配置应用程序需要的所有服务。然后,使用一个命令,就可以从 YML 文件配置中创建并启动所有服务。

一键启动所有的服务

DockerCompose的使用步骤

创建对应的DockerFile文件
创建yml文件,在yml文件中编排我们的服务
通过 docker-compose up命令 一键运行我们的容器

官网地址:docs.docker.com/compose
下载地址:
curl -L https://get.daocloud.io/docker/compose/releases/download/1.25...uname -s-uname -m > /usr/local/bin/docker-compose
复制代码
修改文件夹权限
chmod +x /usr/local/bin/docker-compose
复制代码
建立软连接
ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose
复制代码
检查是否安装成功
docker-compose --version
复制代码
2.安装Minio集群
官方推荐 docker-compose.yaml:
稍加修改,内容如下:
version: '3.7'

所有容器通用的设置和配置

x-minio-common: &minio-common
image: minio/minio
command: server --console-address ":9001" http://minio{1...4}/data
expose:

- "9000"

# environment:

# MINIO_ROOT_USER: minioadmin
# MINIO_ROOT_PASSWORD: minioadmin

healthcheck:

test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
interval: 30s
timeout: 20s
retries: 3

启动4个docker容器运行minio服务器实例

使用nginx反向代理9000端口,负载均衡, 你可以通过9001、9002、9003、9004端口访问它们的web console

services:
minio1:

<<: *minio-common
hostname: minio1
ports:
  - "9001:9001"
volumes:
  - ./data/data1:/data

minio2:

<<: *minio-common
hostname: minio2
ports:
  - "9002:9001"
volumes:
  - ./data/data2:/data

minio3:

<<: *minio-common
hostname: minio3
ports:
  - "9003:9001"
volumes:
  - ./data/data3:/data

minio4:

<<: *minio-common
hostname: minio4
ports:
  - "9004:9001"
volumes:
  - ./data/data4:/data

nginx:

image: nginx:1.19.2-alpine
hostname: nginx
volumes:
  - ./config/nginx.conf:/etc/nginx/nginx.conf:ro
ports:
  - "9000:9000"
depends_on:
  - minio1
  - minio2
  - minio3
  - minio4

复制代码
接着新建文件夹 config,新建配置 nginx.conf
user nginx;
worker_processes auto;

error_log /var/log/nginx/error.log warn;
pid /var/run/nginx.pid;

events {

worker_connections  4096;

}

http {

include       /etc/nginx/mime.types;
default_type  application/octet-stream;

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                  '$status $body_bytes_sent "$http_referer" '
                  '"$http_user_agent" "$http_x_forwarded_for"';

access_log  /var/log/nginx/access.log  main;
sendfile        on;
keepalive_timeout  65;

# include /etc/nginx/conf.d/*.conf;

upstream minio {
    server minio1:9000;
    server minio2:9000;
    server minio3:9000;
    server minio4:9000;
}

server {
    listen       9000;
    listen  [::]:9000;
    server_name  localhost;

    # To allow special characters in headers
    ignore_invalid_headers off;
    # Allow any size file to be uploaded.
    # Set to a value such as 1000m; to restrict file size to a specific value
    client_max_body_size 0;
    # To disable buffering
    proxy_buffering off;

    location / {
        proxy_set_header Host $http_host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;

        proxy_connect_timeout 300;
        # Default is HTTP/1, keepalive is only enabled in HTTP/1.1
        proxy_http_version 1.1;
        proxy_set_header Connection "";
        chunked_transfer_encoding off;

        proxy_pass http://minio;
    }
}

}
复制代码
然后执行对应的命令
docker-compose up -d
复制代码

FastDFS收藏起来,现在开始用Minio吧

image.png
访问控制台:http://192.168.56.100:9000

FastDFS收藏起来,现在开始用Minio吧

image.png
账号密码为:minioadmin

FastDFS收藏起来,现在开始用Minio吧

image.png
三、Minio客户端
  然后我们可以创建一个Java项目来操作文件上传下载操作。
1.Bucket
  Bucket是桶的意思。我们创建一个Bucket

FastDFS收藏起来,现在开始用Minio吧

image.png

FastDFS收藏起来,现在开始用Minio吧

image.png
我们还可以直接上传图片文件等

FastDFS收藏起来,现在开始用Minio吧

image.png

FastDFS收藏起来,现在开始用Minio吧

image.png
2.用户管理
  针对客户端的操作,我们需要维护相关的账号来管理。

FastDFS收藏起来,现在开始用Minio吧

image.png
直接点击创建相关的用户即可

FastDFS收藏起来,现在开始用Minio吧

image.png
用户创建完成后我们就可以通过客户端工具来操作了。

  1. Java项目
      然后我们来看看如何在Java项目中来操作了。
    首先添加必要的依赖
    <dependency>

         <groupId>io.minio</groupId>
         <artifactId>minio</artifactId>
         <version>7.0.2</version>
     </dependency>
     <!-- https://mvnrepository.com/artifact/commons-io/commons-io -->
     <dependency>
         <groupId>commons-io</groupId>
         <artifactId>commons-io</artifactId>
         <version>2.8.0</version>
     </dependency>

    复制代码
    然后通过相关的API操作即可

    private String endpoint = "http://192.168.56.100:9000";
    private String accessKey = "dpb";
    private String secretKey = "12345678";

    @Test
    void contextLoads() throws Exception{

     // 1.使用MinIo服务的URL,端口 账号和密码 创建一个 MinIoClient对象
     MinioClient minioClient = new MinioClient(endpoint, accessKey, secretKey);
     boolean isExists = minioClient.bucketExists("test");
     if(isExists){
         System.out.println("已经存在了 test 这个 Bucket");
     }else{
         minioClient.makeBucket("test");
     }
     // 存储文件到 存储桶中
     minioClient.putObject("test","/group1/UserMapper.xml","d:/UserMapper.xml",null);
     System.out.println("文件上传成功...");
     // 下载文件
     InputStream in = minioClient.getObject("test", "/group1/UserMapper.xml");
     List<String> strings = IOUtils.readLines(in, "UTF-8");
     strings.stream().forEach(s -> System.out.println(s));

    }
    复制代码
    执行后成功:

FastDFS收藏起来,现在开始用Minio吧

image.png

FastDFS收藏起来,现在开始用Minio吧

image.png
搞定
4.获取图片地址
  如果上传的是普通文件我们可以获取对应的字节流来操作,但是如果我们需要获取的是图片。只要访问就可以了,这时我们可以通过对应的API来获取图片的URL地址就可以了

FastDFS收藏起来,现在开始用Minio吧

image.png
但是在访问的时候缺提示访问不了

FastDFS收藏起来,现在开始用Minio吧

image.png
原因是我们需要设置下Bucket的策略

FastDFS收藏起来,现在开始用Minio吧

image.png

FastDFS收藏起来,现在开始用Minio吧

image.png
访问就可以了

FastDFS收藏起来,现在开始用Minio吧

点赞
收藏
评论区
推荐文章
blmius blmius
4年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
美凌格栋栋酱 美凌格栋栋酱
7个月前
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(
Karen110 Karen110
4年前
一篇文章带你了解JavaScript日期
日期对象允许您使用日期(年、月、日、小时、分钟、秒和毫秒)。一、JavaScript的日期格式一个JavaScript日期可以写为一个字符串:ThuFeb02201909:59:51GMT0800(中国标准时间)或者是一个数字:1486000791164写数字的日期,指定的毫秒数自1970年1月1日00:00:00到现在。1\.显示日期使用
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Wesley13 Wesley13
3年前
FLV文件格式
1.        FLV文件对齐方式FLV文件以大端对齐方式存放多字节整型。如存放数字无符号16位的数字300(0x012C),那么在FLV文件中存放的顺序是:|0x01|0x2C|。如果是无符号32位数字300(0x0000012C),那么在FLV文件中的存放顺序是:|0x00|0x00|0x00|0x01|0x2C。2.  
Stella981 Stella981
3年前
Python之time模块的时间戳、时间字符串格式化与转换
Python处理时间和时间戳的内置模块就有time,和datetime两个,本文先说time模块。关于时间戳的几个概念时间戳,根据1970年1月1日00:00:00开始按秒计算的偏移量。时间元组(struct_time),包含9个元素。 time.struct_time(tm_y
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
3年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
芝士年糕 芝士年糕
3年前
windows安装minio
一、概述最近在学习使用minio,在这里对自己的学习过程做一个记录和总结,方便自己查阅。Minio是GlusterFS创始人之一AnandBabuPeriasamy发布新的开源项目。Minio兼容Amason的S3分布式对象存储项目,采用Golang实现,客户端支持Java、Python、Javacript、Golang语言。Minio可以做为云存储的