Minio分布式集群搭建

一、分布式Minio快速入门

分布式Minio可以让你将多块硬盘(甚至在不同的机器上)组成一个对象存储服务。由于硬盘分布在不同的节点上,分布式Minio避免了单点故障。

1、分布式Minio有什么好处?

在大数据领域,通常的设计理念都是无中心和分布式。Minio分布式模式可以帮助你搭建一个高可用的对象存储服务,你可以使用这些存储设备,而不用考虑其真实物理位置。

  • 数据保护

分布式Minio采用 erasure code(纠删码)来防范多个节点宕机和位衰减bit rot。

分布式Minio至少需要4个节点,使用分布式Minio自动引入了纠删码功能。

  • 高可用

单机Minio服务存在单点故障,相反,如果是一个N节点的分布式Minio,只要有N/2节点在线,你的数据就是安全的。不过你需要至少有N/2+1个节点 Quorum 来创建新的对象。

例如,一个8节点的Minio集群,每个节点一块盘,就算4个节点宕机,这个集群仍然是可读的,不过你需要5个节点才能写数据。

  • 限制

分布式Minio单租户存在最少4个盘最多16个盘的限制(受限于纠删码)。这种限制确保了Minio的简洁,同时仍拥有伸缩性。如果你需要搭建一个多租户环境,你可以轻松的使用编排工具(Kubernetes)来管理多个Minio实例。

注意,只要遵守分布式Minio的限制,你可以组合不同的节点和每个节点几块盘。比如,你可以使用2个节点,每个节点4块盘,也可以使用4个节点,每个节点两块盘,诸如此类。

  • 一致性

Minio在分布式和单机模式下,所有读写操作都严格遵守read-after-write一致性模型。

二、Minio分布式集群搭建

生产环境建议最少4节点
实验环境为2台
10.133.136.208
10.133.136.209

1.minio wget安装

#两台机器操作相同

[root@p0-tkhijbs-jcsszy-web37 data]# wget https://dl.minio.io/server/minio/release/linux-amd64/minio
[root@p0-tkhijbs-jcsszy-web37 data]# chmod +x minio

2.配置启动服务

  • 启动脚本
#两台机器操作相同
[root@p0-tkhijbs-jcsszy-web37 data]# mdkir -pv minio-data1  minio-data2

[root@p0-tkhijbs-jcsszy-web37 data]# ls
mc  minio  minio-data1  minio-data2  miniologs  minio-run.sh  minio-service.sh

[root@p0-tkhijbs-jcsszy-web37 data]# cat minio-run.sh 
#!/bin/bash
export MINIO_ACCESS_KEY=Minio
export MINIO_SECRET_KEY=SCxxxxxxx
 
/data/minio server \
http://10.133.136.208/data/minio-data1  http://10.133.136.208/data/minio-data2 \
http://10.133.136.209/data/minio-data1  http://10.133.136.209/data/minio-data2 \
  • service服务配置
#两台机器操作相同
[root@p0-tkhijbs-jcsszy-web37 ~]# cat /usr/lib/systemd/system/minio.service
[Unit]
Description=Minio service
Documentation=https://docs.minio.io/
 
[Service]
WorkingDirectory=/data/
ExecStart=/data/minio-run.sh
 
Restart=on-failure
RestartSec=5
 
[Install]
WantedBy=multi-user.target

  • 启动测试
#两台机器操作相同
[root@p0-tkhijbs-jcsszy-web38 data]# systemctl daemon-reload
[root@p0-tkhijbs-jcsszy-web37 data]# systemctl start minio
[root@p0-tkhijbs-jcsszy-web37 data]# systemctl enable minio
Created symlink from /etc/systemd/system/multi-user.target.wants/minio.service to /usr/lib/systemd/system/minio.service.
[root@p0-tkhijbs-jcsszy-web37 data]# systemctl status minio
● minio.service - Minio service
   Loaded: loaded (/usr/lib/systemd/system/minio.service; enabled; vendor preset: disabled)
   Active: active (running) since Mon 2021-10-11 18:41:09 CST; 15h ago
     Docs: https://docs.minio.io/
 Main PID: 10173 (minio-run.sh)
   CGroup: /system.slice/minio.service
           ├─10173 /bin/bash /data/minio-run.sh
           └─10174 /data/minio server http://10.133.136.208/data/minio-data1 http://10.133.136.208/data/minio-data2 http://10.133.136.209/data/minio-data1 http://10...

Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: DeploymentID: 12a29ac6-fc17-4d9e-a242-916683d4d661
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: Error: disk not found: http://10.133.136.209:9000/data/minio-data1 (*errors.errorString)
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: 2: cmd/erasure.go:175:cmd.getDisksInfo.func1()
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: 1: internal/sync/errgroup/errgroup.go:123:errgroup.(*Group).Go.func1()
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: Use `mc admin info` to look for latest server/disk info
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: Status:         2 Online, 2 Offline.
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: API: http://10.133.136.208:9000  http://127.0.0.1:9000
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: Console: http://10.133.136.208:46665 http://127.0.0.1:46665
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: Documentation: https://docs.min.io
Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: WARNING: Console endpoint is listening on a dynamic port (46665), please use --console-address ...ic port.
Hint: Some lines were ellipsized, use -l to show in full.





#10.133.136.208
[root@p0-tkhijbs-jcsszy-web37 data]# netstat -tnlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      6200/sshd           
tcp        0      0 0.0.0.0:10050           0.0.0.0:*               LISTEN      6852/zabbix_agentd  
tcp6       0      0 :::22                   :::*                    LISTEN      6200/sshd           
tcp6       0      0 :::19100                :::*                    LISTEN      6049/node_exporter  
tcp6       0      0 :::9000                 :::*                    LISTEN      10174/minio         
tcp6       0      0 :::46665                :::*                    LISTEN      10174/minio 



#10.133.136.209
[root@p0-tkhijbs-jcsszy-web38 ~]# netstat -tnlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:10050           0.0.0.0:*               LISTEN      6816/zabbix_agentd  
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      6208/sshd           
tcp6       0      0 :::34044                :::*                    LISTEN      7467/minio          
tcp6       0      0 :::19100                :::*                    LISTEN      6082/node_exporter  
tcp6       0      0 :::9000                 :::*                    LISTEN      7467/minio          
tcp6       0      0 :::22                   :::*                    LISTEN      6208/sshd 

Minio分布式集群搭建_第1张图片

Minio分布式集群搭建_第2张图片

Minio分布式集群搭建_第3张图片

#10.133.136.209
[root@p0-tkhijbs-jcsszy-web37 data]# cd minio-data1/
[root@p0-tkhijbs-jcsszy-web37 minio-data1]# ls
test
[root@p0-tkhijbs-jcsszy-web37 minio-data1]# cd test/
[root@p0-tkhijbs-jcsszy-web37 test]# ls
test-sean.txt
[root@p0-tkhijbs-jcsszy-web37 test]# pwd
/data/minio-data1/test
[root@p0-tkhijbs-jcsszy-web37 test]# ll /data/minio-data2/
.minio.sys/ test/       
[root@p0-tkhijbs-jcsszy-web37 test]# ll /data/minio-data2/test/
total 0
drwxr-xr-x 2 root root 21 Oct 12 10:41 test-sean.txt
#10.133.136.209
[root@p0-tkhijbs-jcsszy-web38 ~]# ls
anaconda-ks.cfg
[root@p0-tkhijbs-jcsszy-web38 ~]# cd /data/minio-data1/test/
[root@p0-tkhijbs-jcsszy-web38 test]# ls
test-sean.txt
[root@p0-tkhijbs-jcsszy-web38 test]# ll /data/minio-data2/test/
total 0
drwxr-xr-x 2 root root 21 Oct 12 10:41 test-sean.txt


Minio分布式集群搭建_第4张图片

你可能感兴趣的