본문으로 바로가기
본문으로 바로가기

Aurora MySQL 소스 설정 가이드

이 단계별 가이드는 Amazon Aurora MySQL을 구성하여 MySQL ClickPipe를 사용해 데이터를 ClickHouse Cloud로 복제하는 방법을 안내합니다. MySQL CDC와 관련된 자주 묻는 질문은 MySQL FAQ 페이지를 참고하십시오.

바이너리 로그 보존 활성화​

바이너리 로그는 MySQL 서버 인스턴스에서 수행된 데이터 변경에 대한 정보를 포함하는 일련의 로그 파일이며, 복제를 위해서는 바이너리 로그 파일이 필요합니다. Aurora MySQL에서 바이너리 로그 보존을 구성하려면 바이너리 로깅을 활성화하고 binlog 보존 기간을 늘려야 합니다.

1. 자동 백업을 통해 바이너리 로깅 활성화​

자동 백업 기능은 MySQL에서 바이너리 로깅이 켜져 있는지 여부를 결정합니다. 자동 백업은 RDS Console에서 Modify > Additional configuration > Backup으로 이동한 후 Enable automated backups 체크박스를 선택하여(이미 선택되어 있지 않은 경우) 인스턴스에 대해 구성할 수 있습니다.

Aurora에서 자동 백업 활성화

복제 사용 사례에 따라 Backup retention period를 충분히 긴 값으로 설정할 것을 권장합니다.

2. binlog 보존 기간 늘리기​

참고

ClickPipes가 복제를 다시 시작하려고 할 때, 설정된 binlog 보존 값으로 인해 필요한 binlog 파일이 삭제된 상태라면 ClickPipe는 오류 상태가 되며, 다시 동기화(resync)가 필요합니다.

기본적으로 Aurora MySQL은 가능한 한 빨리 바이너리 로그(binary log)를 삭제합니다(즉, lazy purging 방식). 장애 상황에서도 복제를 위한 바이너리 로그 파일을 확보할 수 있도록 binlog 보존 기간을 최소 72시간으로 늘릴 것을 권장합니다. 바이너리 로그 보존 기간(binlog retention hours)을 설정하려면 mysql.rds_set_configuration 프로시저를 사용하십시오:

mysql=> call mysql.rds_set_configuration('binlog retention hours', 72);

이 설정을 지정하지 않았거나 간격을 너무 짧게 설정하면 바이너리 로그에 누락 구간이 생겨 ClickPipes가 복제를 재개하지 못할 수 있습니다.

binlog 설정 구성​

파라미터 그룹은 RDS 콘솔에서 MySQL 인스턴스를 클릭한 후 Configuration 탭으로 이동하면 확인할 수 있습니다.

팁

MySQL 클러스터를 사용하는 경우, 아래 파라미터는 DB 인스턴스 그룹이 아니라 DB 클러스터 파라미터 그룹에서 찾을 수 있습니다.

Aurora에서 파라미터 그룹을 찾는 위치

파라미터 그룹 링크를 클릭하면 해당 전용 페이지로 이동합니다. 오른쪽 상단에 Edit 버튼이 표시됩니다.

파라미터 그룹 편집

다음 파라미터를 아래와 같이 설정합니다.

  1. binlog_format을 ROW로 설정합니다.
Binlog format을 ROW로 설정
  1. binlog_row_metadata를 FULL로 설정합니다.
Binlog row metadata
  1. binlog_row_image를 FULL로 설정합니다.
Binlog row image

그런 다음 오른쪽 상단의 Save Changes를 클릭합니다. 변경 사항이 적용되려면 인스턴스를 재부팅해야 할 수 있습니다. 이를 확인하는 방법은 Aurora 인스턴스의 Configuration 탭에서 파라미터 그룹 링크 옆에 Pending reboot가 표시되는지 여부를 확인하는 것입니다.

GTID 모드 활성화 (권장)​

팁

MySQL ClickPipe는 GTID 모드 없이도 복제를 지원합니다. 그러나 더 나은 성능과 더 쉬운 문제 해결을 위해 GTID 모드를 활성화할 것을 권장합니다.

Global Transaction Identifiers (GTIDs)는 MySQL에서 커밋된 각 트랜잭션에 할당되는 고유 ID입니다. 이는 binlog 복제를 단순화하고 문제 해결을 더 간단하게 만들어 줍니다. MySQL ClickPipe가 GTID 기반 복제를 사용할 수 있도록 GTID 모드를 활성화할 것을 권장합니다.

GTID 기반 복제는 Amazon Aurora MySQL v2(MySQL 5.7)와 v3(MySQL 8.0), 그리고 Aurora Serverless v2에서 지원됩니다. Aurora MySQL 인스턴스에서 GTID 모드를 활성화하려면 다음 단계를 따르십시오.

  1. RDS 콘솔에서 MySQL 인스턴스를 클릭합니다.
  2. Configuration 탭을 클릭합니다.
  3. 파라미터 그룹 링크를 클릭합니다.
  4. 오른쪽 상단의 Edit 버튼을 클릭합니다.
  5. enforce_gtid_consistency를 ON으로 설정합니다.
  6. gtid-mode를 ON으로 설정합니다.
  7. 오른쪽 상단의 Save Changes를 클릭합니다.
  8. 인스턴스를 재부팅하여 변경 사항을 적용합니다.
GTID enabled

데이터베이스 사용자 구성​

관리자 계정으로 Aurora MySQL 인스턴스에 연결한 후 다음 명령을 실행합니다.

  1. ClickPipes 전용 사용자를 생성합니다.

    CREATE USER 'clickpipes_user'@'%' IDENTIFIED BY 'some-password';

  2. 스키마 권한을 부여합니다. 다음 예시는 mysql 데이터베이스에 대한 권한을 보여 줍니다. 복제하려는 각 데이터베이스와 호스트에 대해 다음 명령을 반복합니다.

    GRANT SELECT ON `mysql`.* TO 'clickpipes_user'@'host';

  3. 사용자에게 복제 권한을 부여합니다.

    GRANT REPLICATION CLIENT ON *.* TO 'clickpipes_user'@'%';
GRANT REPLICATION SLAVE ON *.* TO 'clickpipes_user'@'%';

네트워크 액세스 설정​

IP 기반 액세스 제어​

Aurora MySQL 인스턴스로의 트래픽을 제한하려면 문서에 명시된 정적 NAT IP를 Aurora 보안 그룹의 Inbound rules에 추가합니다.

Aurora MySQL에서 보안 그룹을 찾는 위치
위 보안 그룹의 인바운드 규칙을 편집하는 화면

프라이빗 네트워크를 통해 Aurora MySQL 인스턴스에 연결하려면 AWS PrivateLink를 사용할 수 있습니다. 연결을 설정하려면 ClickPipes용 AWS PrivateLink 설정 가이드를 따르십시오.

다음 단계는?​

Amazon Aurora MySQL 인스턴스가 binlog 복제 및 ClickHouse Cloud에 대한 보안 연결을 위해 구성되었으므로 이제 첫 번째 MySQL ClickPipe를 생성할 수 있습니다. MySQL CDC와 관련된 일반적인 질문은 MySQL FAQ 페이지를 참고하십시오.