Amazon Athena | Federated Query로 다양한 데이터 소스를 SQL로 조회하기

들어가며

지금까지는 Amazon Athena가 Amazon S3에 저장된 데이터를 SQL로 조회하는 서비스라는 점을 중심으로 살펴보았습니다. 하지만 실제 운영 환경에서는 데이터가 모두 S3에 저장되어 있는 경우는 많지 않습니다.

 

일부 데이터는 RDS에, 일부는 DynamoDB에, 로그는 CloudWatch에 저장되는 등 여러 저장소를 함께 사용하는 경우가 일반적입니다. 이러한 환경에서 각각의 서비스에 접속하여 별도로 조회하는 것은 번거롭고 관리도 어렵습니다.

 

Athena의 Federated Query를 이용하면 S3뿐 아니라 다양한 AWS 서비스와 외부 데이터베이스까지 하나의 SQL로 조회할 수 있습니다.

 

이번 글에서는 Athena Federated Query의 개념과 동작 방식, 그리고 실제 활용 사례를 살펴보겠습니다.

---

1. Athena Federated Query란?

Athena Federated Query는 Amazon S3가 아닌 다양한 데이터 소스를 Athena에서 SQL로 조회할 수 있도록 지원하는 기능입니다.

https://aws.amazon.com/ko/blogs/big-data/optimize-federated-query-performance-using-explain-and-explain-analyze-in-amazon-athena/?utm_source=chatgpt.com

기존 Athena는 S3에 저장된 데이터를 대상으로 SQL을 실행했지만, Federated Query를 사용하면 다른 데이터 저장소도 동일한 SQL 방식으로 조회할 수 있습니다.

1-1) Connector란?

Athena가 다양한 데이터 소스를 조회할 수 있는 이유는 Data Source Connector 때문입니다.

Connector는 Athena와 데이터 저장소 사이에서 요청을 변환하는 역할을 수행합니다.

동작 과정은 다음과 같습니다.

Athena

↓

Connector(Lambda)

↓

RDS / DynamoDB / OpenSearch ...

↓

조회 결과 반환

사용자가 SQL을 실행하면 Connector가 해당 서비스의 API나 데이터베이스 쿼리로 변환하여 데이터를 가져오고, Athena는 이를 SQL 결과 형태로 반환합니다.

---

2. Federated Query 동작 구조

Federated Query의 전체 흐름은 다음과 같습니다.

2-1) 사용자

사용자는 Athena 콘솔이나 CLI, SDK 등을 통해 SQL 쿼리를 실행합니다.

SELECT *
FROM orders
WHERE amount > 100;

2-2) Amazon Athena

Athena는 전달받은 SQL을 분석하여 실행 계획을 생성합니다.

또한 AWS Glue Data Catalog를 조회하여 데이터베이스와 테이블의 메타데이터를 확인한 후, 어떤 데이터 소스를 조회해야 하는지 결정합니다.

2-3) Data Source Connector (AWS Lambda)

Athena는 SQL을 Data Source Connector로 전달합니다. Connector는 AWS Lambda에서 실행되며 다음과 같은 역할을 수행합니다.

• SQL을 해당 데이터 소스가 이해할 수 있는 요청으로 변환
• Secrets Manager 등의 인증 정보를 이용하여 안전하게 연결
• 데이터 소스로 조회 요청 전달

즉, Athena와 데이터 소스 사이에서 중계자(Bridge) 역할을 수행합니다.

2-4) 데이터 소스

Connector는 실제 데이터가 저장된 다양한 서비스에서 데이터를 조회합니다. 대표적인 데이터 소스는 다음과 같습니다.

• Amazon RDS
• Amazon DynamoDB
• Amazon OpenSearch Service
• Amazon CloudWatch Logs
• 기타 JDBC를 지원하는 데이터베이스

조회된 결과는 다시 Connector를 통해 Athena로 전달됩니다.

2-5) 결과 반환

Athena는 Connector로부터 받은 조회 결과를 사용자에게 반환합니다. 사용자는 데이터가 여러 서비스에 분산되어 있더라도 하나의 SQL만으로 조회 결과를 확인할 수 있습니다. 즉, Athena는 직접 DynamoDB에 접근하는 것이 아니라 Connector를 통해 데이터를 조회합니다.

---

3. 지원하는 데이터 소스

Athena Federated Query는 다양한 데이터 저장소를 지원합니다.

데이터 소스	활용 예시
Amazon RDS	운영 데이터 조회
DynamoDB	NoSQL 데이터 분석
CloudWatch Logs	로그 분석
OpenSearch	검색 데이터 조회
DocumentDB	MongoDB 호환 데이터 조회
JDBC	MySQL, PostgreSQL 등 조회

또한 AWS에서 제공하는 Connector 외에도 다양한 오픈소스 Connector를 사용할 수 있습니다.

---

4. AWS Glue와 연동

Federated Query는 AWS Glue Data Catalog와 함께 사용할 수 있습니다.Glue Data Catalog에는 데이터베이스와 테이블 메타데이터가 저장됩니다.

https://www.linkedin.com/pulse/beginner-friendly-data-engineering-project-aws-power-bi-manisekar-vgbec

따라서 사용자는

SELECT *
FROM sales.orders;

처럼 일반적인 테이블을 조회하는 것과 동일한 방식으로 다양한 데이터 소스를 사용할 수 있습니다.

또한 일부 Connector는

• AWS Glue
• Lake Formation

과 연동되어 세부적인 접근 권한 관리도 가능합니다.

---

5. AWS Secrets Manager 연동

외부 데이터베이스를 조회하려면 접속 정보가 필요합니다.

예를 들어

• 데이터베이스 주소
• 사용자 계정
• 비밀번호

등이 필요합니다. Federated Query에서는 이러한 정보를 AWS Secrets Manager에 저장하여 안전하게 관리할 수 있습니다.

이를 통해 SQL 코드나 Lambda 함수에 비밀번호를 직접 작성하지 않아도 됩니다.

---

6. Cross Account 조회

Federated Query는 적절한 IAM 권한이 있다면 다른 AWS 계정의 데이터도 조회할 수 있습니다

https://stackoverflow.com/questions/79560761/how-to-query-cross-account-cross-region-s3-data-in-athena-via-privatelink?

개발 환경과 운영 환경을 하나의 AWS 계정에서 관리하기보다, 여러 AWS 계정으로 분리하여 운영하는 경우가 많습니다.

예를 들어 다음과 같은 구조를 생각해 볼 수 있습니다.

계정 A (분석 계정)

- Amazon Athena
- AWS Glue
- 분석 사용자


계정 B (운영 계정)

- Amazon RDS
- Amazon DynamoDB
- Amazon S3

이 경우 Athena는 계정 A에 있지만, 실제 데이터는 계정 B에 저장되어 있습니다.

기본적으로는 다른 AWS 계정의 리소스에 직접 접근할 수 없기 때문에 적절한 IAM 권한을 설정해야 합니다.

---

7. Passthrough Query란?

일부 Connector는 Passthrough Query를 지원합니다. 이는 Athena SQL이 아닌 원본 데이터베이스의 고유 SQL 문법을 그대로 사용할 수 있는 기능입니다.

 

---

8. Federated Query의 장단점

장점	단점
데이터를 이동하지 않고 조회 가능	Connector 설정이 필요
SQL 하나로 다양한 저장소 조회	Lambda 실행 비용 발생 가능
AWS 서비스와 높은 연동성	대용량 조회 시 성능 제약 가능
기존 Athena SQL 그대로 사용	데이터 소스에 따라 기능 차이 존재

---

9. 마치며

이번 글에서는 Athena Federated Query를 이용해 Amazon S3뿐 아니라 RDS, DynamoDB, CloudWatch, OpenSearch 등 다양한 데이터 소스를 SQL로 조회하는 방법을 살펴보았습니다.

 

Federated Query의 핵심은 데이터를 S3로 복사하지 않고 원본 데이터에 직접 SQL을 실행할 수 있다는 점입니다. Connector가 Athena와 데이터 소스 사이에서 중계 역할을 수행하므로 여러 저장소를 하나의 분석 환경처럼 사용할 수 있습니다.

 

실제 데이터 플랫폼에서는 데이터가 여러 서비스에 분산되어 있는 경우가 많습니다. 이러한 환경에서 Federated Query를 활용하면 데이터 이동 과정을 줄이고, 기존 Athena 기반 분석 환경을 다양한 데이터 소스로 확장할 수 있습니다.