첫 번째 Amazon S3 ClickPipe 생성하기

S3 ClickPipe는 Amazon S3 및 S3 호환 오브젝트 스토리지에서 ClickHouse Cloud로 데이터를 수집하기 위한 완전 관리형이면서 내결함성을 갖춘 방식을 제공합니다. 1회성 수집과 지속적인 수집을 모두 지원하며, 정확히 한 번만 처리되는(exactly-once) 의미 체계를 보장합니다.

S3 ClickPipes는 ClickPipes UI를 사용해 수동으로 배포 및 관리할 수 있으며, OpenAPI 및 Terraform을 사용해 프로그래밍 방식으로도 관리할 수 있습니다.

데이터 소스 선택

1. ClickHouse Cloud의 기본 내비게이션 메뉴에서 Data sources를 선택한 후 Create ClickPipe를 클릭합니다.

2. Amazon S3 타일을 클릭합니다. 이 타일을 사용하여 ClickPipes UI에 표시되지 않은 다른 S3 호환 서비스에도 연결할 수 있습니다.

팁

객체 스토리지 서비스 제공 업체마다 URL 형식과 API 구현이 다르기 때문에, 모든 S3 호환 서비스가 기본적으로 지원되는 것은 아닙니다. 지원되는 데이터 소스에 나와 있지 않은 서비스를 사용 중 문제가 발생하는 경우, 당사 팀에 문의해 주십시오.

ClickPipe 연결 설정

1. 새 ClickPipe를 설정하려면 객체 스토리지 서비스에 연결하고 인증하는 방법에 대한 세부 정보를 제공해야 합니다.

Authentication method: S3 ClickPipe는 IAM credentials (Credentials) 및 IAM role-based authentication (IAM role)을 지원합니다. 인증 및 권한 설정에 대한 안내는 참고 문서를 참조하십시오.
- S3 file path: S3 ClickPipe는 virtual-hosted-style URI 형식의 URI를 사용합니다.
```
https://bucket-name.s3.region-code.amazonaws.com/key-name
```
  여러 파일 또는 접두사에 일치하도록 POSIX 와일드카드를 사용할 수 있습니다. 지원되는 패턴에 대한 안내는 참고 문서를 참조하십시오.

2. Incoming data를 클릭합니다. ClickPipes는 다음 단계를 위해 버킷에서 메타데이터를 가져옵니다.

데이터 형식 선택

UI에 지정한 버킷의 파일 목록이 표시됩니다. 지원되는 데이터 형식(현재 일부 ClickHouse 형식만 지원)을 선택하고, 연속 수집을 활성화할지 여부를 설정합니다. 자세한 내용은 개요 페이지의 「continuous ingest」 섹션을 참조하십시오.

테이블, 스키마 및 설정 구성

다음 단계에서는 데이터를 새 ClickHouse 테이블로 수집할지, 기존 테이블을 재사용할지 선택할 수 있습니다. 화면의 안내에 따라 테이블 이름, 스키마 및 설정을 수정하십시오. 상단의 샘플 테이블에서 변경 사항을 실시간으로 미리 볼 수 있습니다.

제공된 컨트롤을 사용하여 고급 설정을 사용자 정의할 수도 있습니다.

또는 기존 ClickHouse 테이블에 데이터를 수집하도록 선택할 수도 있습니다. 이 경우 UI에서 소스 필드를 선택한 대상 테이블의 ClickHouse 필드에 매핑할 수 있습니다.

참조

또한 _path나 _size와 같은 virtual columns을 필드에 매핑할 수도 있습니다.

권한 구성

마지막으로, 내부 ClickPipes 사용자에 대한 권한을 구성할 수 있습니다.

Permissions: ClickPipes는 대상 테이블에 데이터를 기록하기 위한 전용 사용자를 생성합니다. 이 내부 사용자에 대해 사용자 정의 역할 또는 사전 정의된 역할 중 하나를 사용하여 역할을 선택할 수 있습니다:

Full access: 클러스터에 대한 전체 액세스 권한을 가집니다. 대상 테이블에서 구체화된 뷰(Materialized View) 또는 Dictionary를 사용하는 경우 필요합니다.
Only destination table: 대상 테이블에만 INSERT 권한을 가집니다.