목록데이터엔지니어/Delta Lake (1)
나의 잡다한 노트 및 메모
Delta Lake란?
Delta Lake는 Apache Spark 환경에서 데이터 레이크의 신뢰성과 관리성을 크게 향상시키기 위해 개발된 오픈 소스 스토리지 레이어입니다. Delta Lake는 기존의 데이터 레이크가 가진 단점, 예를 들어 데이터 정합성 문제나 낮은 성능, 스키마 관리의 어려움 등을 보완하기 위해 설계되었으며, 아래와 같은 주요 특징들을 제공합니다.1. ACID 트랜잭션 지원Atomicity (원자성): Delta Lake는 한 번의 작업(예: 여러 파일 업데이트 또는 추가 작업)이 전부 성공하거나 전혀 반영되지 않도록 보장합니다.Consistency (일관성): 데이터의 상태가 항상 정의된 규칙(스키마, 제약 조건 등)에 부합하도록 관리됩니다.Isolation (격리성): 동시 다발적인 읽기/쓰기 작업 간의..
데이터엔지니어/Delta Lake
2025. 2. 7. 15:21