나의 잡다한 노트 및 메모

compressed file을 ingest하는 것도 지원을 한다. 하지만 속도가 느린듯하다. 압축된 파일을 laze하게 압축 해제한다고 강조를 하는 걸 보니 말이다. scrape_configs: - job_name: system   decompression:     enabled:trueinitial_delay: 10s     format: gz  It relies on the \n character to separate the data into different log lines.The max expected log line is 2MB within the compressed file.The data is decompressed in blocks of 4096 bytes. i.e: it first fe..

server: # Promtail 내부 상태 및 메트릭 확인용 서버 설정 http_listen_port: 9080 grpc_listen_port: 0positions: # Promtail이 마지막으로 읽은 로그 위치를 저장하는 파일 filename: /tmp/positions.yamlclients: # Loki 서버에 로그를 전송하기 위한 설정 (push 방식) - url: http://loki:3100/loki/api/v1/push # 예: Loki 서비스 주소scrape_configs: # 어떤 로그를 어떻게 수집할지 정의하는 섹션 - job_name: system_logs static_configs: - targets: - localhost ..

promtail.yaml에 작성되는 내용을 의미하는 것이다.  주요 설정 요소a. scrape_configs어떤 로그 파일(혹은 소스)들을 어떻게 수집할지 정의하는 핵심 섹션입니다.예시:scrape_configs: - job_name: system_logs static_configs: - targets: ['localhost'] labels: job: system_logs __path__: /var/log/syslog b. pipeline_stages수집한 로그 한 줄(Line)에 대해 추가 파이프라인 처리를 수행합니다.regex로 라벨 추출, json 파싱, timestamp 추출, replace/drop 등 다양한 스테이지를 통해 로그를 가..

Grafana Loki와 함께 사용되는 log 수집 에이전트이다. 시스템에서 생성되는 로그를 모니터링하고, 이를 Loki로 전송하는 역할을 한다.프로메테우스가 시계열 메트릭을 스크랩하듯, promtail은 로그 파일을 스크랩해 loki에 저장하는 구조를 갖는다. 참고 -> 2025년 2월 13일부터 deprecated 된 듯… grafana alloy로 갈아타라는 문구가 있다. ㅠ  주요 특징가벼운(log lightweight) 설계Promtail은 Loki의 디자인 철학에 맞춰 개발되어, Elastic Stack(예: Logstash, Beats)처럼 복잡한 파이프라인보다는 간단하고 확장성 있는 방식을 지향합니다.대부분의 로그 파싱/처리는 Loki가 아닌 Promtail에서 미리 수행할 수 있도록 설계..

메시지 큐(Message Queue)란 생산자(Producer)와 소비자(Consumer) 간에 비동기적으로 메시지를 주고받기 위해 사용하는 중간 저장소 혹은 소프트웨어 인프라를 말합니다. 애플리케이션들이 메시지를 즉시 주고받지 않고 큐에 쌓아두었다가, 소비자(Consumer)가 준비되었을 때 메시지를 가져갈 수 있도록 함으로써 비동기 처리, 확장성, 유연성을 높여줍니다. 1. 메시지 큐의 동작 방식생산자(Producer)메시지(데이터)를 생성하고, 메시지 큐에 이를 전송합니다(“push”).메시지를 전송한 후에는 즉시 다음 작업을 수행할 수 있어, 생산자와 소비자가 동시에 연결되어 있지 않아도 됩니다.메시지 큐(Message Queue)메시지를 임시로 저장해두는 버퍼 혹은 저장소 역할을 합니다.소비자가..

미들웨어(Middleware)는 소프트웨어 시스템 내에서 서로 다른 애플리케이션, 서비스, 컴포넌트 간의 통신과 데이터 교환을 중개하거나 보조하는 역할을 하는 소프트웨어 계층입니다. 좀 더 구체적으로 설명하면:역할과 목적통신 중개: 서로 다른 시스템이나 애플리케이션이 직접 연결되지 않고도 통신할 수 있도록 중간에서 연결 역할을 합니다.추가 기능 제공: 인증, 로깅, 캐싱, 오류 처리, 데이터 변환, 메시징 등의 공통 기능을 중앙에서 처리하여 개별 애플리케이션 코드가 간결해지고, 재사용성이 높아집니다.종류와 활용 사례웹 애플리케이션 미들웨어: 예를 들어, Express.js 같은 Node.js 프레임워크에서는 요청(request)과 응답(response) 사이에서 인증, 로깅, 데이터 파싱 등 다양한 작업..

관련해서 내장 변수를 알아보고 싶다면 이 링크를 참고하자https://nginx.org/en/docs/http/ngx_http_core_module.html Module ngx_http_core_moduleModule ngx_http_core_module Directives Syntax: absolute_redirect on | off; Default: absolute_redirect on; Context: http, server, location This directive appeared in version 1.11.8. If disabled, redirects issued by nginx will be relative. See also server_nanginx.org  $host, $remote_a..

관련 헤더들에 대해 설명을 적어놓은 사이트 https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Headers/Host Host - HTTP | MDNThe HTTP Host request header specifies the host and port number of the server to which the request is being sent.developer.mozilla.org Host 헤더 HTTP 호스트 요청 헤더는 요청이 전송되는 서버의 호스트와 포트 번호를 지정한다.만약 포트가 포함돼있지 않다면 http는 80, https는 443 이 디폴트가 된다.  Host: :