첫 번째 GCS ClickPipe 만들기

GCS ClickPipe는 Google Cloud Storage(GCS)에서 데이터를 수집하기 위한 완전 관리형이고 안정적인 방법을 제공합니다. 일회성(one-time) 수집과 지속적인(continuous) 수집을 모두 지원하며, 각 레코드가 정확히 한 번만 처리되도록 보장합니다.

GCS ClickPipes는 ClickPipes UI를 사용하여 수동으로 배포 및 관리할 수 있으며, OpenAPI 및 Terraform을 사용하여 프로그래밍 방식으로도 관리할 수 있습니다.

데이터 소스 선택

1. ClickHouse Cloud의 기본 내비게이션 메뉴에서 Data sources를 선택한 후 Create ClickPipe를 클릭합니다.

2. Google Cloud Storage 타일을 클릭합니다.

ClickPipe 연결 설정

1. 새 ClickPipe를 설정하려면 객체 스토리지 서비스에 연결하고 인증하는 방법에 대한 세부 정보를 제공해야 합니다.

GCS file path: GCS ClickPipe는 상호 운용성을 위해 Cloud Storage XML API를 사용하며, storage.googleapis.com 엔드포인트를 사용해야 합니다:
```
https://storage.googleapis.com/bucket-name/key-name
```
여러 파일이나 접두사에 일치시키기 위해 POSIX 와일드카드를 사용할 수 있습니다. 지원되는 패턴에 대한 안내는 참고 문서를 참고하십시오.

2. Incoming data를 클릭합니다. ClickPipes는 다음 단계를 위해 버킷에서 메타데이터를 가져옵니다.

데이터 형식 선택

UI에 지정한 버킷의 파일 목록이 표시됩니다. 지원되는 데이터 형식(현재 일부 ClickHouse 형식만 지원)을 선택하고, 연속 수집을 활성화할지 여부를 설정합니다. 자세한 내용은 개요 페이지의 「continuous ingest」 섹션을 참조하십시오.

테이블, 스키마 및 설정 구성

다음 단계에서는 데이터를 새 ClickHouse 테이블로 수집할지, 기존 테이블을 재사용할지 선택할 수 있습니다. 화면의 안내에 따라 테이블 이름, 스키마 및 설정을 수정하십시오. 상단의 샘플 테이블에서 변경 사항을 실시간으로 미리 볼 수 있습니다.

제공된 컨트롤을 사용하여 고급 설정을 사용자 정의할 수도 있습니다.

또는 기존 ClickHouse 테이블에 데이터를 수집하도록 선택할 수도 있습니다. 이 경우 UI에서 소스 필드를 선택한 대상 테이블의 ClickHouse 필드에 매핑할 수 있습니다.

참조

또한 _path나 _size와 같은 virtual columns을 필드에 매핑할 수도 있습니다.

권한 구성

마지막으로, 내부 ClickPipes 사용자에 대한 권한을 구성할 수 있습니다.

Permissions: ClickPipes는 대상 테이블에 데이터를 기록하기 위한 전용 사용자를 생성합니다. 이 내부 사용자에 대해 사용자 정의 역할 또는 사전 정의된 역할 중 하나를 사용하여 역할을 선택할 수 있습니다:

Full access: 클러스터에 대한 전체 액세스 권한을 가집니다. 대상 테이블에서 구체화된 뷰(Materialized View) 또는 Dictionary를 사용하는 경우 필요합니다.
Only destination table: 대상 테이블에만 INSERT 권한을 가집니다.