AWS Lake Formation이란

들어가며

기업에서는 Amazon S3를 이용해 데이터 레이크(Data Lake)를 구축하는 경우가 많습니다. 하지만 단순히 데이터를 저장하는 것만으로는 충분하지 않습니다.

 

데이터를 안전하게 관리하기 위해서는 사용자 권한을 설정하고, 데이터 암호화와 감사(Auditing)를 수행하며, 다양한 분석 서비스가 동일한 데이터를 활용할 수 있는 환경을 구축해야 합니다.

 

AWS에서는 이러한 작업을 쉽게 수행할 수 있도록 AWS Lake Formation을 제공합니다.

이번 글에서는 Lake Formation의 개념과 데이터 레이크 구축 과정, 권한 관리 기능을 중심으로 살펴보겠습니다.

---

1. AWS Lake Formation이란?

https://k21academy.com/aws-data/aws-lake-formation/

Lake Formation은 AWS에서 안전한 데이터 레이크를 빠르게 구축하고 운영할 수 있도록 지원하는 완전관리형 서비스입니다.

단순히 데이터를 저장하는 것이 아니라 데이터 수집, 카탈로그 관리, ETL, 권한 제어, 감사 기능까지 함께 제공합니다.

 

또한 AWS Glue를 기반으로 동작하기 때문에 Glue Crawler, Data Catalog, ETL Job 등의 기능을 함께 활용할 수 있습니다.

---

2. Lake Formation의 주요 기능

2-1) 데이터 수집

• Amazon S3, RDBMS, NoSQL 등 다양한 데이터 소스를 연결하여 데이터를 수집합니다.

2-2) 메타데이터 관리

• AWS Glue Data Catalog를 이용하여 데이터베이스와 테이블 정보를 관리합니다.

2-3) 데이터 변환

• Glue ETL을 이용하여 데이터를 Parquet, ORC 등의 형식으로 변환할 수 있습니다.

2-4) 권한 관리

• 사용자와 그룹별로 데이터 접근 권한을 세밀하게 설정할 수 있습니다.

2-5) 감사(Auditing)

• 누가 어떤 데이터에 접근했는지 CloudTrail 등을 통해 추적할 수 있습니다.

---

3. Lake Formation 아키텍처

Lake Formation은 다양한 데이터 소스를 하나의 데이터 레이크로 통합하고, 여러 분석 서비스가 동일한 데이터를 활용할 수 있도록 지원합니다. Lake Formation은 데이터 레이크의 중앙 관리 계층 역할을 수행합니다.

---

4. Lake Formation의 권한 관리

https://aws.amazon.com/ko/blogs/tech/introducing-hybrid-access-mode-for-aws-glue-data-catalog-to-secure-access-using-aws-lake-formation-and-iam-and-amazon-s3-policies/

Lake Formation은 IAM보다 더 세밀한 데이터 권한을 제공합니다. 권한은 다음 대상에 대해 설정할 수 있습니다.

• Database
• Table
• Column

또한 IAM 사용자뿐 아니라 IAM Role, SAML 사용자, 다른 AWS 계정에도 권한을 부여할 수 있습니다.

4-1) Cross-Account 권한 공유

Lake Formation은 다른 AWS 계정과도 데이터를 안전하게 공유할 수 있습니다.

이를 통해 여러 AWS 계정이 하나의 데이터 레이크를 함께 사용할 수 있으며, AWS Resource Access Manager(RAM)를 이용한 권한 공유도 지원합니다. 또한 암호화된 데이터 카탈로그를 사용하는 경우에는 KMS 권한도 함께 설정해야 합니다.

---

5. 데이터 필터(Data Filters)

Lake Formation에서는 테이블 전체가 아닌 필요한 데이터만 조회하도록 제한할 수 있습니다.

5-1) Row-Level Security

• 특정 조건을 만족하는 행(Row)만 조회할 수 있습니다. 예를 들어 서울 지역 데이터만 조회하도록 제한할 수 있습니다.

5-2) Column-Level Security

• 특정 컬럼만 조회하도록 제한합니다. 예를 들어 주민등록번호 컬럼은 숨기고 이름과 나이만 조회할 수 있습니다.

5-3) Cell-Level Security

• 행과 컬럼 조건을 함께 적용하여 더욱 세밀한 접근 제어를 제공합니다.

---

6. Lake Formation과 AWS Glue의 관계

Lake Formation은 AWS Glue 위에서 동작합니다. 즉, 다음과 같은 Glue 기능을 그대로 활용합니다.

• Glue Crawler
• Glue Data Catalog
• Glue ETL
• Glue Studio
• Glue Data Quality

Lake Formation은 여기에 다음 기능을 추가합니다.

• 데이터 레이크 구축
• 데이터 접근 권한 관리
• 행·열 단위 보안
• 데이터 공유
• 감사(Auditing)
  

Glue는 데이터 처리 플랫폼, Lake Formation은 데이터 레이크 관리 플랫폼

---

7. 언제 사용할까?

• 기업 데이터 레이크 구축
• 여러 부서가 동일한 데이터를 공유하는 환경
• Athena, EMR, Redshift를 함께 사용하는 환경
• 개인정보가 포함된 데이터 분석
• 세밀한 데이터 접근 제어가 필요한 환경

---

8. 마치며

이번 글에서는 AWS Lake Formation의 기본 개념과 데이터 레이크 구축 과정을 살펴보았습니다.

 

처음에는 단순히 데이터 레이크를 생성하는 서비스라고 생각했지만, 학습하면서 AWS Glue를 기반으로 데이터 수집과 메타데이터 관리, ETL을 수행하고, 사용자별 권한 관리와 행·열 단위 접근 제어까지 제공하는 데이터 레이크 관리 서비스라는 점을 이해할 수 있었습니다.

 

또한 Athena, Amazon Redshift, EMR과 같은 분석 서비스가 동일한 데이터를 안전하게 활용할 수 있도록 지원하며, 여러 계정 간 데이터 공유와 감사 기능까지 제공한다는 점도 알게 되었습니다.

 

데이터 레이크를 운영할 때는 데이터를 저장하는 것뿐 아니라 누가 어떤 데이터에 접근할 수 있는지 일관되게 관리하는 것이 중요하며, Lake Formation은 이러한 관리와 보안을 통합적으로 제공하는 서비스라고 볼 수 있습니다.