Supervisors 란?

Druid에서 "Supervisors"란?

"Supervisors" 탭은 실시간 데이터 스트리밍(Streaming Ingestion)을 관리하는 역할을 합니다.

즉, Kafka 또는 Kinesis와 같은 실시간 데이터 소스에서 데이터를 지속적으로 수집하는 작업을 관리하는 기능입니다.

 

Supervisors의 역할

Druid에서 Kafka / Kinesis 같은 스트리밍 데이터를 지속적으로 가져오기 위해 Supervisor를 사용합니다.

데이터 스트림을 모니터링하고 자동으로 Task를 실행 및 관리
새로운 데이터가 들어오면 실시간으로 적재
Task 실패 시 자동 복구 (Fault Tolerance 지원)
데이터 적재 속도를 조절하며 리소스 최적화
실시간 데이터 처리를 위한 필수 기능

 

 

Supervisors의 작동 방식

Supervisors는 **실시간 인제스천(Streaming Ingestion)**을 위해 Indexing Task를 생성하고 관리합니다.

Kafka/Kinesis에서 새로운 데이터 스트림 감지
Druid에서 Indexing Task를 자동으로 생성
데이터를 수집하고 Datasources에 저장
Task가 종료되면 새로운 Task를 자동으로 생성하여 연속적으로 실행
오류 발생 시 Supervisor가 자동으로 복구

즉, Supervisors는 지속적으로 데이터 수집을 유지하는 역할을 합니다.

 

 

3. Supervisors에서 확인할 수 있는 정보

항목설명

ID	Supervisor의 고유 ID
Datasource	이 Supervisor가 데이터를 수집하는 대상 Datasource
State	Supervisor의 현재 상태 (RUNNING, FAILED 등)
Type	Kafka 또는 Kinesis와 같은 스트리밍 소스 유형
Active Tasks	현재 실행 중인 Indexing Task 수
Pending Tasks	대기 중인 Task 수
Recent Errors	최근 오류 로그 (문제 발생 시 확인 가능)