ClickHouse에서 저장 프로시저와 쿼리 매개변수
전통적인 관계형 데이터베이스를 사용해 온 경우라면, ClickHouse에서 저장 프로시저와 준비된 SQL 문을 찾게 될 것입니다. 이 가이드는 이러한 개념에 대한 ClickHouse의 접근 방식을 설명하고, 권장되는 대안을 제시합니다.
ClickHouse에서 저장 프로시저를 대체하는 방법
ClickHouse는 제어 흐름 로직(IF/ELSE, 루프 등)이 포함된 전통적인 저장 프로시저를 지원하지 않습니다.
이는 분석 데이터베이스로서의 ClickHouse 아키텍처를 기반으로 한 의도적인 설계 결정입니다.
분석용 데이터베이스에서는 일반적으로 단순한 쿼리 O(n)개를 처리하는 것이, 더 복잡한 소수의 쿼리를 처리하는 것보다 느리기 때문에 루프 사용을 지양합니다.
ClickHouse는 다음과 같은 워크로드에 최적화되어 있습니다:
- 분석 워크로드 - 대규모 데이터셋에 대한 복잡한 집계 작업
- 배치 처리 - 대용량 데이터를 효율적으로 처리
- 선언적 쿼리 - 어떻게 처리할지가 아니라 어떤 데이터를 조회할지를 기술하는 SQL 쿼리
절차적 로직을 가진 저장 프로시저는 이러한 최적화를 저해합니다. 대신 ClickHouse는 이러한 강점을 살리는 대체 기능들을 제공합니다.
사용자 정의 함수(User-Defined Functions, UDFs)
사용자 정의 함수(UDF)는 제어 흐름 없이 재사용 가능한 로직을 캡슐화할 수 있게 합니다. ClickHouse는 두 가지 유형을 지원합니다.
람다 기반 UDF
SQL 표현식과 람다 구문을 사용하여 함수를 정의합니다:
예제용 데이터
제한 사항:
- 루프나 복잡한 제어 흐름은 사용할 수 없습니다.
- 데이터를 수정할 수 없습니다 (
INSERT/UPDATE/DELETE). - 재귀 함수는 허용되지 않습니다.
자세한 구문은 CREATE FUNCTION을 참고하십시오.
실행형 UDF
보다 복잡한 로직에는 외부 프로그램을 호출하는 실행형 UDF를 사용합니다.
실행 가능한 UDF는 Python, Node.js, Go 등 어떤 언어에서든 임의의 로직을 구현할 수 있습니다.
자세한 내용은 Executable UDFs를 참조하십시오.
매개변수화된 뷰
매개변수화된 뷰는 데이터 세트를 반환하는 함수처럼 동작합니다. 동적 필터링이 필요한 재사용 가능한 쿼리에 적합합니다:
예제용 데이터
일반적인 활용 사례
- 동적 날짜 범위 필터링
- 사용자별 데이터 세분화
- 멀티 테넌트 데이터 액세스
- 보고서 템플릿
- 데이터 마스킹
자세한 내용은 Parameterized Views 섹션을 참고하십시오.
Materialized views
Materialized views는 전통적으로 저장 프로시저에서 수행하던 비용이 많이 드는 집계를 미리 계산해 두기에 이상적입니다. 전통적인 데이터베이스를 사용해 왔다면, materialized view를 소스 테이블에 데이터가 삽입될 때 자동으로 데이터를 변환하고 집계하는 INSERT 트리거로 생각하면 됩니다.
갱신 가능 구체화 뷰
예약된 배치 처리(예: 야간 stored procedure 실행)용:
고급 패턴에 대해서는 Cascading Materialized Views를 참조하십시오.
외부 오케스트레이션
복잡한 비즈니스 로직, ETL 워크플로, 다단계 프로세스에서는 언어 클라이언트를 사용하여 ClickHouse 외부에서 로직을 구현할 수 있습니다.
애플리케이션 코드를 사용하는 방법
다음은 MySQL 저장 프로시저를 ClickHouse에서 애플리케이션 코드로 구현하는 방법을 좌우 비교 형식으로 보여 줍니다.
- MySQL 저장 프로시저
- ClickHouse 애플리케이션 코드
아래 예제는 ClickHouse의 쿼리 파라미터를 사용합니다. ClickHouse의 쿼리 파라미터에 익숙하지 않은 경우 "ClickHouse의 prepared statement 대안" 섹션을 먼저 참조하세요.
주요 차이점
- 제어 흐름 - MySQL 저장 프로시저에서는
IF/ELSE,WHILE루프를 사용합니다. ClickHouse에서는 이러한 로직을 애플리케이션 코드(Python, Java 등)에서 구현합니다. - 트랜잭션 - MySQL은 ACID 트랜잭션을 위한
BEGIN/COMMIT/ROLLBACK을 지원합니다. ClickHouse는 트랜잭션성 갱신이 아닌 추가 전용(append-only) 워크로드에 최적화된 분석용 데이터베이스입니다. - 업데이트 - MySQL은
UPDATESQL 문을 사용합니다. ClickHouse는 변경 가능한 데이터에 대해 ReplacingMergeTree 또는 CollapsingMergeTree를 사용하는INSERT를 선호합니다. - 변수와 상태 - MySQL 저장 프로시저는
DECLARE v_discount와 같이 변수를 선언할 수 있습니다. ClickHouse에서는 상태를 애플리케이션 코드에서 관리합니다. - 오류 처리 - MySQL은
SIGNAL및 예외 처리기를 지원합니다. 애플리케이션 코드에서는 사용하는 언어의 기본 오류 처리(try/catch)를 사용합니다.
각 접근 방식을 사용할 시점:
- OLTP 워크로드(주문, 결제, 사용자 계정) → 저장 프로시저가 있는 MySQL/PostgreSQL을 사용합니다.
- 분석 워크로드(리포팅, 집계, 시계열) → 애플리케이션 오케스트레이션과 함께 ClickHouse를 사용합니다.
- 하이브리드 아키텍처 → 둘 다 사용합니다. 분석을 위해 OLTP에서 ClickHouse로 트랜잭션 데이터를 스트리밍합니다.
워크플로 오케스트레이션 도구 사용
- Apache Airflow - ClickHouse 쿼리로 구성된 복잡한 DAG의 스케줄링 및 모니터링
- dbt - SQL 기반 워크플로를 통한 데이터 변환
- Prefect/Dagster - 최신 Python 기반 오케스트레이션
- Custom schedulers - Cron job, Kubernetes CronJob 등 커스텀 스케줄러
외부 오케스트레이션의 이점:
- 프로그래밍 언어 기능을 완전히 활용 가능
- 향상된 오류 처리 및 재시도 로직
- 외부 시스템(API, 다른 데이터베이스 등)과의 통합
- 버전 관리 및 테스트
- 모니터링 및 알림
- 보다 유연한 스케줄링
ClickHouse에서 prepared statements를 대체하는 방법
ClickHouse에는 RDBMS에서 사용하는 전통적인 의미의 「prepared statements」는 없지만, 동일한 목적을 위한 쿼리 파라미터(query parameters) 기능을 제공합니다. 이를 사용하면 SQL 인젝션 공격을 방지하는 안전한 파라미터화된 쿼리를 작성할 수 있습니다.
구문
쿼리 파라미터를 정의하는 방법에는 두 가지가 있습니다:
방법 1: SET 사용
예제 테이블 및 데이터
방법 2: CLI 매개변수 사용하기
매개변수 구문
매개변수는 다음과 같은 형식으로 참조합니다: {parameter_name: DataType}
parameter_name- 매개변수 이름 (param_접두사 제외)DataType- 매개변수를 캐스팅할 ClickHouse 데이터 타입
데이터 타입 예시
예제용 테이블 및 샘플 데이터
- 문자열과 숫자
- 날짜와 시간
- 배열
- 맵
- 식별자
language clients에서 쿼리 매개변수 사용 방법은 관심 있는 특정 언어 클라이언트에 대한 문서를 참조하십시오.
쿼리 매개변수의 한계
쿼리 매개변수는 일반적인 텍스트 치환 기능이 아닙니다. 다음과 같은 구체적인 한계가 있습니다:
- 주로 SELECT SQL 문을 위한 용도입니다 - SELECT 쿼리에서 가장 잘 지원됩니다
- 식별자 또는 리터럴로 동작합니다 - 임의의 SQL 조각을 대체할 수는 없습니다
- DDL 지원이 제한적입니다 -
CREATE TABLE에서는 지원되지만,ALTER TABLE에서는 지원되지 않습니다
동작하는 경우:
지원되지 않는 사항:
보안 모범 사례
사용자 입력 처리에는 항상 쿼리 파라미터를 사용하십시오.
입력 타입 검증:
MySQL 프로토콜 준비된 SQL 문
ClickHouse의 MySQL 인터페이스는 준비된 SQL 문(COM_STMT_PREPARE, COM_STMT_EXECUTE, COM_STMT_CLOSE)에 대해 최소한의 기능만 지원하며, 주로 준비된 SQL 문으로 쿼리를 래핑하는 Tableau Online과 같은 도구와의 연결을 가능하게 하기 위해 제공됩니다.
주요 제한 사항:
- 파라미터 바인딩은 지원되지 않습니다 - 바인딩된 파라미터와 함께
?플레이스홀더를 사용할 수 없습니다 - 쿼리는
PREPARE동안 저장되지만 파싱되지는 않습니다 - 구현은 최소 수준이며 특정 BI 도구와의 호환성을 위해 설계되었습니다
작동하지 않는 예:
대신 ClickHouse의 네이티브 쿼리 매개변수를 사용하십시오. 이 방식은 모든 ClickHouse 인터페이스 전반에서 완전한 매개변수 바인딩 지원, 타입 안정성, SQL 인젝션 공격 방지를 제공합니다:
자세한 내용은 MySQL 인터페이스 문서와 ClickHouse의 MySQL 지원에 대한 블로그 글을 참고하십시오.
요약
저장 프로시저에 대한 ClickHouse 대안
| 전통적인 저장 프로시저 패턴 | ClickHouse 대안 |
|---|---|
| 단순 계산 및 변환 | 사용자 정의 함수(UDF) |
| 재사용 가능한 매개변수화된 쿼리 | 매개변수화된 뷰 |
| 사전에 계산된 집계 | materialized view |
| 정기 배치 처리 | 갱신 가능 구체화 뷰 |
| 복잡한 다단계 ETL 작업 | 연쇄된 materialized view 또는 외부 오케스트레이션(Python, Airflow, dbt) |
| 제어 흐름을 포함하는 비즈니스 로직 | 애플리케이션 코드 |
쿼리 매개변수 사용
쿼리 매개변수는 다음 용도로 사용할 수 있습니다:
- SQL 인젝션 방지
- 타입 안정성을 보장하는 매개변수화된 쿼리
- 애플리케이션의 동적 필터링
- 재사용 가능한 쿼리 템플릿
관련 문서
CREATE FUNCTION- 사용자 정의 함수(User-Defined Functions)CREATE VIEW- 매개변수화된 뷰 및 materialized view- SQL Syntax - Query Parameters - 매개변수 구문 전체
- Cascading Materialized Views - 고급 materialized view 패턴
- Executable UDFs - 외부 함수 실행