본문으로 바로가기
본문으로 바로가기

Confluent Cloud와 ClickHouse 통합

사전 요구 사항​

다음 항목에 이미 익숙하다고 가정합니다.

ClickHouse 공식 Kafka 커넥터와 Confluent Cloud​

토픽 생성​

Confluent Cloud에서 토픽을 생성하는 것은 비교적 간단하며, 자세한 방법은 여기에 안내되어 있습니다.

중요 사항​

  • Kafka 토픽 이름은 ClickHouse 테이블 이름과 동일해야 합니다. 이를 조정하는 방법 중 하나는 transformer(예: ExtractTopic)를 사용하는 것입니다.
  • 파티션 수가 많다고 해서 항상 더 나은 성능을 의미하는 것은 아닙니다. 자세한 내용과 성능 최적화 팁은 곧 제공될 가이드를 참고하십시오.

연결 정보 수집​

HTTP(S)로 ClickHouse에 연결하려면 다음 정보가 필요합니다:

Parameter(s)Description
HOST and PORT일반적으로 TLS를 사용할 때는 포트가 8443이고, TLS를 사용하지 않을 때는 8123입니다.
DATABASE NAME기본적으로 default라는 데이터베이스가 있으며, 연결하려는 데이터베이스의 이름을 사용합니다.
USERNAME and PASSWORD기본값으로 사용자 이름은 default입니다. 사용하려는 용도에 적합한 사용자 이름을 사용합니다.

ClickHouse Cloud 서비스에 대한 세부 정보는 ClickHouse Cloud 콘솔에서 확인할 수 있습니다. 서비스를 선택한 다음 Connect를 클릭하십시오:

ClickHouse Cloud 서비스 Connect 버튼

HTTPS를 선택하십시오. 연결 정보는 예제 curl 명령에 표시됩니다.

ClickHouse Cloud HTTPS 연결 정보

자가 관리형 ClickHouse를 사용하는 경우, 연결 정보는 ClickHouse 관리자가 설정합니다.

커넥터 설치​

공식 문서에 따라 Confluent Cloud에서 완전 관리형 ClickHouse Sink Connector를 설치합니다.

커넥터 구성​

ClickHouse Sink Connector를 구성할 때 다음과 같은 세부 정보를 제공해야 합니다:

  • ClickHouse 서버의 호스트 이름(hostname)
  • ClickHouse 서버의 포트(port) (기본값은 8443)
  • ClickHouse 서버의 사용자 이름(username)과 비밀번호(password)
  • 데이터가 기록될 ClickHouse 데이터베이스(database) 이름
  • ClickHouse로 데이터를 쓰는 데 사용될 Kafka 토픽(topic) 이름

Confluent Cloud UI에서는 폴링 간격, 배치 크기 및 기타 파라미터를 조정하여 성능을 최적화할 수 있는 고급 구성 옵션을 지원합니다.

참고

Confluent Cloud에서 fetch settings 및 poll settings와 같은 일부 설정을 조정하려면 Confluent Cloud를 통해 지원 케이스(Support case)를 생성해야 합니다.

알려진 제한 사항​