본문으로 바로가기
본문으로 바로가기

OpenTelemetry를 사용한 수집

모든 데이터는 로그, 메트릭, 트레이스, 세션 데이터의 기본 진입 지점 역할을 하는 OpenTelemetry (OTel) collector 인스턴스를 통해 ClickStack으로 수집됩니다. 이 인스턴스에는 collector의 공식 ClickStack 배포판 사용을 권장합니다.

데이터는 language SDKs나 인프라 메트릭과 로그를 수집하는 데이터 수집 에이전트(예: agent 역할의 OTel collector 또는 Fluentd, Vector 등의 기타 기술)를 통해 이 collector로 전송됩니다. 관리형 OpenTelemetry 파이프라인을 원하는 팀의 경우, Bindplane은 ClickStack을 네이티브 대상으로 지원하는 OpenTelemetry 네이티브 솔루션을 제공하여 텔레메트리 수집, 처리 및 라우팅을 단순화합니다.

OpenTelemetry 데이터 전송​

ClickStack OpenTelemetry collector 설치​

Managed ClickStack으로 데이터를 전송하려면 gateway 역할의 OTel collector를 배포해야 합니다. OTel 호환 계측 도구는 HTTP 또는 gRPC 기반 OTLP를 통해 이 collector로 이벤트를 전송합니다.

ClickStack OpenTelemetry collector 사용을 권장합니다

이를 통해 표준화된 수집, 스키마 강제 적용, 그리고 ClickStack UI(HyperDX)와의 즉시 사용 가능한 호환성의 이점을 누릴 수 있습니다. 기본 스키마를 사용하면 자동 소스 감지와 사전 구성된 컬럼 매핑이 활성화됩니다.

자세한 내용은 "Deploying the collector"를 참조하십시오.

collector로 데이터 전송​

Managed ClickStack으로 데이터를 전송하려면 OpenTelemetry collector가 제공하는 다음 엔드포인트를 OpenTelemetry 계측 도구에 지정하면 됩니다.

  • HTTP (OTLP): http://localhost:4318
  • gRPC (OTLP): localhost:4317

OpenTelemetry를 지원하는 언어 SDK 및 텔레메트리 라이브러리의 경우 애플리케이션에서 OTEL_EXPORTER_OTLP_ENDPOINT 환경 변수만 설정하면 됩니다.

export OTEL_EXPORTER_OTLP_ENDPOINT=http://localhost:4318

에이전트 역할로 contrib 배포판 OTel collector를 배포하면 OTLP exporter를 사용하여 ClickStack collector로 데이터를 전송할 수 있습니다. 아래는 이 구조화된 로그 파일을 수집하는 에이전트 설정 예시입니다.

# clickhouse-agent-config.yaml
receivers:
  filelog:
    include:
      - /opt/data/logs/access-structured.log
    start_at: beginning
    operators:
      - type: json_parser
        timestamp:
          parse_from: attributes.time_local
          layout: '%Y-%m-%d %H:%M:%S'
exporters:
  # HTTP setup
  otlphttp/hdx:
    endpoint: 'http://localhost:4318'
    compression: gzip
 
  # gRPC setup (alternative)
  otlp/hdx:
    endpoint: 'localhost:4317'
    compression: gzip
processors:
  batch:
    timeout: 5s
    send_batch_size: 1000
service:
  telemetry:
    metrics:
      address: 0.0.0.0:9888 # Modified as 2 collectors running on same host
  pipelines:
    logs:
      receivers: [filelog]
      processors: [batch]
      exporters: [otlphttp/hdx]