내 잡다한 노트

Multi-Node Multi-Drive 본문

데이터엔지니어/minIO

Multi-Node Multi-Drive

peanutwalnut 2025. 2. 10. 16:51

enterprise에서 쓰기 좋은 minIO의 deploy 모드이다.

 

erasure coding 설정을 지원하여 절반의 노드가 죽을 때 read 를 가능하게 해준다.

모든 minIO 서버는 must use the same listen port

또한, load balancer를 사용하여 클러스터의 연결을 관리할 것을 강력히 권장하고 있다.

 

 

Sequential Hostnames

MinIO에서는 서버 풀을 생성할 때 연속적인 MinIO 호스트 시리즈를 나타내기 위해 확장 표기법 {x...y}를 사용해야 합니다.

순차적인 호스트 이름을 사용하여야 대규모 분산 클러스터에서 관리 오버헤드가 낮아진다.

You can specify the entire range of hostnames using the expansion notation minio-0{1...4}.example.com.

 

 

Storage Requirements

The following requirements summarize the Storage section of MinIO’s hardware recommendations

 

로컬 스토리지는 네트워크 스토리지(NAS, SAN, NFS)에 비해 상당한 성능과 일관성 이점이 있다.

minIO는 기본 또는 핫 데이터에 nvme, ssd를 사용하기를 권장한다.

MinIO does not test nor recommend any other filesystem, such as EXT4, BTRFS, or ZFS.

대신에 XFS formatted drives for storage를 추천한다.

 

MinIO does not distinguish drive types and does not benefit from mixed storage types. Each pool must use the same type (NVMe, SSD)

드라이브 유형을 구별하지 않으며 혼합 스토리지 유형의 이점을 얻지 못한다. 각 풀은 동일한 유형(nvme, ssd)을 사용해야 한다.

 

MinIO limits the size used per drive to the smallest drive in the pool.

For example, deploy a pool consisting of the same number of NVMe drives with identical capacity of 7.68TiB. If you deploy one drive with 3.84TiB, MinIO treats all drives in the pool as having that smaller capacity.

전체적으로 7.68TB가 있는데 여기에 3.84TB를 설치하면 minIO는 모든 드라이브를 3.84TB로 처리한다는 이야기인듯하다.

 

드라이브 장착 경로를 순차적 시리즈로 구성한다. 예를 들어, /mnt/drive-n 패턴을 사용하여 드라이브를 장착한다.

 

Unless directed by MinIO Engineering, do not use scripts or tools to directly modify, delete, or move any of the data shards, parity shards, or metadata files on the provided drives, including from one drive or node to another.

이러한 작업은 MinIO의 복구 능력을 넘어서는 광범위한 손상 및 데이터 손실을 초래할 가능성이 매우 높습니다.

 

 

Multi-node systems must maintain synchronized time and date to maintain stable internode operations and interactions. 

안정적인 노드 간 작업과 상호작용을 유지하기 위해 동기화된 시간과 날짜를 유지해야 한다.

 

MinIO erasure coding is a data redundancy and availability feature that allows MinIO deployments to automatically reconstruct objects on-the-fly despite the loss of multiple drives or nodes in the cluster.

여러 드라이브나 노드가 손실되어도 minIO가 객체를 자동으로 즉석에서 재구성할 수 있게 해주는 데이터 중복성 및 가용성 기능이다.

MinIO defaults to EC:4, or 4 parity blocks per erasure set.

기본적으로 4개의 패리티 블록을 가진다.

 

 

'데이터엔지니어 > minIO' 카테고리의 다른 글

Erasure Coding of MinIO  (0) 2025.02.10
minIO 란?  (0) 2025.02.09