목록데이터엔지니어/minIO (3)
내 잡다한 노트
enterprise에서 쓰기 좋은 minIO의 deploy 모드이다. erasure coding 설정을 지원하여 절반의 노드가 죽을 때 read 를 가능하게 해준다.모든 minIO 서버는 must use the same listen port또한, load balancer를 사용하여 클러스터의 연결을 관리할 것을 강력히 권장하고 있다. Sequential HostnamesMinIO에서는 서버 풀을 생성할 때 연속적인 MinIO 호스트 시리즈를 나타내기 위해 확장 표기법 {x...y}를 사용해야 합니다.순차적인 호스트 이름을 사용하여야 대규모 분산 클러스터에서 관리 오버헤드가 낮아진다.You can specify the entire range of hostnames using the expansion no..
Erausre Coding : 데이터 손실 시 미리 준비된 별도의 데이터(패리티)로 복구하는 기술 Object를 데이터 블록과 패리티 블록으로 분할해서 저장하며, 패리티 블록은 데이터 손상이나 누락이 있을 때 데이터 블록의 재구성을 지원한다. 데이터를 인코딩하고, 데이터가 손실되면 디코딩을 통해 원본데이터를 복제하는 기법이다.
MinIO는 고성능 분산 객체 스토리지 솔루션으로, 특히 클라우드 네이티브 환경에서 많이 사용됩니다. 주요 특징과 개념은 다음과 같습니다.1. 기본 개념객체 스토리지:MinIO는 파일 시스템이나 블록 스토리지와 달리 객체 단위로 데이터를 저장합니다. 각 객체는 데이터와 함께 메타데이터를 포함하며, RESTful API(특히 AWS S3 API와 호환)를 통해 접근할 수 있습니다.오픈 소스:MinIO는 오픈 소스로 개발되어, 누구나 소스 코드를 확인하고 수정할 수 있으며, 커뮤니티를 통한 활발한 지원과 업데이트가 이루어집니다.2. 주요 특징고성능:매우 빠른 읽기/쓰기 성능을 제공하도록 설계되어, 대규모 데이터 처리나 실시간 애플리케이션에 적합합니다.수평 확장성:여러 서버에 걸쳐 데이터를 분산 저장할 수 있..