AWS Athena | Workgroup, 비용 최적화, 보안

 

들어가며

Athena는 Amazon S3에 저장된 데이터를 SQL로 조회할 수 있는 서버리스 분석 서비스입니다. 하지만 실제 운영 환경에서는 단순히 SQL을 실행하는 것만으로는 충분하지 않습니다.

 

여러 사용자가 동시에 Athena를 사용할 경우 쿼리 실행을 관리해야 하고, 스캔한 데이터 양에 따라 비용이 발생하기 때문에 비용 최적화도 중요합니다. 또한 기업 환경에서는 데이터 접근 권한과 암호화 설정까지 함께 고려해야 합니다.

 

이번 글에서는 Athena의 Workgroup 기능과 비용 구조, 보안 기능, 그리고 Athena를 사용할 때 주의해야 할 사항을 중심으로 살펴보겠습니다.

---

1. Athena Workgroup이란?

https://joudwawad.medium.com/data-engineering-on-aws-amazon-athena-deep-dive-bd1287ccabb9

Workgroup은 Athena에서 사용자, 팀, 프로젝트별로 쿼리 실행 환경을 분리하고 관리하는 기능입니다.

하나의 Athena 환경을 여러 사용자가 함께 사용하더라도 Workgroup을 이용하면 서로 다른 설정과 권한을 적용할 수 있습니다.

1-1) Workgroup의 주요 기능

1. 사용자 및 프로젝트 분리
   개발팀, 데이터 분석팀, 운영팀 등 조직별로 Workgroup을 나누어 사용할 수 있습니다.
2. 비용 관리
   Workgroup마다 데이터 스캔 한도를 설정하여 과도한 비용 발생을 방지할 수 있습니다.
3. 실행 기록 관리
   Workgroup의 Query History를 별도로 관리할 수 있습니다.
4. IAM 연동
   IAM 정책과 연동하여 Workgroup별 접근 권한을 설정할 수 있습니다.

---

2. Athena 비용 구조

Athena는 사용한 만큼 비용을 지불(Pay-as-you-go) 하는 방식입니다.

즉, EC2처럼 서버 비용을 내는 것이 아니라 SQL이 읽은 데이터의 양(Scan Data) 을 기준으로 과금됩니다.

2-1) 데이터 스캔 기준 과금

Athena는 일반적으로 스캔한 데이터 1TB당 과금됩니다. 따라서 같은 결과를 조회하더라도 더 많은 데이터를 읽으면 비용이 증가합니다.

2-2) Parquet와 ORC를 사용하는 이유

CSV는 모든 컬럼을 읽어야 하지만 Parquet와 ORC는 필요한 컬럼만 읽습니다.

Name 컬럼만 조회하는 경우

• CSV: 전체 파일을 읽음
• Parquet: Name 컬럼만 읽음

따라서 Parquet와 ORC를 사용하면

• 데이터 스캔량 감소
• 비용 절감
• 조회 속도 향상

효과를 얻을 수 있습니다.

2-3) 비용을 줄이는 방법

Athena 비용을 줄이는 대표적인 방법은 다음과 같습니다.

• Parquet 또는 ORC 사용
• 필요한 컬럼만 조회
• WHERE 절을 이용한 필터링
• 파티셔닝(Partition) 적용
• 작은 파일을 하나로 병합

---

3. Athena 보안

3-1) IAM

Athena 접근 권한은 IAM을 이용하여 관리합니다.

사용자나 Role별로

• 데이터베이스 조회
• Workgroup 접근
• 쿼리 실행

등의 권한을 설정할 수 있습니다.

3-2) S3 Bucket Policy

Athena가 조회하는 실제 데이터는 Amazon S3에 저장되어 있습니다.

따라서 S3 Bucket Policy를 이용하여 어떤 사용자가 데이터를 조회할 수 있는지 제한할 수 있습니다.

3-3) 결과 암호화

Athena는 SQL 결과를 Amazon S3에 저장합니다. 이때 다음과 같은 암호화를 적용할 수 있습니다.

• SSE-S3
• SSE-KMS
• CSE-KMS

3-4) TLS

Athena와 Amazon S3 간 통신은 TLS를 이용하여 암호화됩니다. 따라서 네트워크 전송 중에도 데이터를 안전하게 보호할 수 있습니다.

---

4. Athena에서 하면 안 되는 작업(Anti-Pattern)

Athena는 분석 서비스이지 모든 작업에 적합한 것은 아닙니다.

4-1) ETL 작업

Athena는 데이터를 변환하는 서비스가 아닙니다. 대량의 데이터 변환이나 Join, 집계 등을 수행해야 한다면 AWS Glue를 사용하는 것이 적합합니다.

4-2) 보고서 생성

Athena는 SQL 조회 서비스입니다. 차트나 대시보드가 필요하다면 Amazon QuickSight를 함께 사용하는 것이 좋습니다.

4-3) 실시간 서비스

Athena는 실시간 트랜잭션 처리를 위한 데이터베이스가 아닙니다. 사용자 요청마다 빠르게 데이터를 조회해야 하는 환경이라면 Amazon RDS나 DynamoDB가 더 적합합니다.

---

5. Athena와 Glue의 역할 비교

구분	Amazon Athena	AWS Glue
목적	데이터 조회	데이터 변환(ETL)
사용 언어	SQL	PySpark, Spark
데이터 변경	불가능	가능
실행 대상	S3 데이터	ETL 파이프라인
주요 용도	분석	데이터 가공

• Athena는 데이터를 조회하는 서비스
• Glue는 데이터를 변환하는 서비스

---

6. 언제 Athena를 사용할까?

• Amazon S3 데이터 레이크 분석
• CloudTrail 로그 조회
• ELB 로그 분석
• VPC Flow Logs 분석
• 대용량 CSV 또는 Parquet 데이터 조회
• Redshift 적재 전 데이터 검증

ETL 작업이나 데이터 전처리가 필요한 경우에는 AWS Glue를 함께 사용하는 것이 일반적입니다.

---

7. 마치며

이번 글에서는 Athena의 Workgroup과 비용 구조, 보안 기능, 그리고 운영 시 고려해야 할 사항을 살펴보았습니다.

 

Athena는 서버를 직접 관리하지 않아도 SQL 기반 분석을 수행할 수 있는 서버리스 서비스이지만, 스캔한 데이터 양에 따라 비용이 발생하므로 파일 형식과 쿼리 작성 방식이 비용과 성능에 큰 영향을 준다는 점을 이해할 수 있었습니다.

 

또한 Workgroup을 이용하면 사용자와 프로젝트별로 쿼리 실행 환경을 분리하고 비용을 관리할 수 있으며, IAM과 S3 정책을 활용해 데이터 접근 권한과 보안도 함께 관리할 수 있습니다.

 

Athena는 데이터를 조회하는 데 특화된 서비스이며, 데이터 변환은 AWS Glue, 시각화는 Amazon QuickSight와 함께 사용하는 것이 일반적인 데이터 레이크 분석 환경의 구성 방식입니다.