Amazon Redshift란?

들어가며

기업에서는 서비스가 운영될수록 주문 데이터, 로그 데이터, 사용자 행동 데이터 등 다양한 데이터가 지속적으로 생성됩니다. 이러한 데이터를 단순히 저장하는 것만으로는 의미가 없으며, 대량의 데이터를 빠르게 분석하여 비즈니스 의사결정에 활용하는 것이 중요합니다.

 

하지만 일반적인 관계형 데이터베이스(RDS)는 서비스 운영(OLTP)에 최적화되어 있기 때문에 수억 건 이상의 데이터를 분석하는 작업에는 한계가 있습니다.

 

이러한 문제를 해결하기 위해 AWS에서는 Amazon Redshift를 제공합니다. 이번 글에서는 Amazon Redshift의 개념과 데이터 웨어하우스의 역할, OLAP 서비스의 의미, 그리고 Redshift 아키텍처까지 함께 살펴보겠습니다.

---

1. Amazon Redshift란?

Amazon Redshift는 AWS에서 제공하는 완전관리형(Petabyte Scale) 데이터 웨어하우스 서비스(Data Warehouse Service) 입니다.

 

여기서 Petabyte Scale이란 페타바이트(PB) 규모의 대용량 데이터를 저장하고 분석할 수 있는 수준을 의미합니다.

• 1 TB = 1,024 GB
• 1 PB = 1,024 TB

즉, Redshift는 수백 TB에서 수 PB 이상의 데이터를 저장하고 빠르게 분석할 수 있도록 설계되었습니다.

또한 AWS가 인프라 운영을 관리하기 때문에 사용자는 데이터 적재와 분석에 집중할 수 있습니다.

---

2. 데이터 웨어하우스(Data Warehouse)란

https://credera.com/en-us/insights/analytics-workbench-part-2--technical-underpinnings-advanced-analytic-platforms?

데이터 웨어하우스(DW)는 여러 시스템에서 수집한 데이터를 한곳에 모아 분석하기 위한 저장소입니다.

예를 들어 쇼핑몰에서는 다음과 같은 데이터가 생성됩니다.

• 주문 데이터
• 회원 데이터
• 결제 데이터
• 웹 로그
• 클릭 로그

이러한 데이터를 하나의 데이터 웨어하우스로 모으면 다양한 분석을 수행할 수 있습니다.

예를 들어,

• 월별 매출 분석
• 인기 상품 분석
• 고객 구매 패턴 분석
• 지역별 주문 통계

와 같은 분석이 가능합니다.

즉, 데이터 웨어하우스는 서비스 운영이 아니라 데이터 분석을 위한 데이터베이스라고 이해하면 됩니다.

---

3. Redshift는 OLAP 서비스

Redshift는 OLAP(Online Analytical Processing) 서비스입니다.

OLAP는 대량의 데이터를 빠르게 분석하기 위한 데이터베이스를 의미합니다.

예를 들어 다음과 같은 SQL을 수행한다고 가정해보겠습니다.

SELECT
    product_name,
    SUM(price)
FROM orders
GROUP BY product_name;

수억 건의 주문 데이터를 집계하더라도 Redshift는 이를 빠르게 분석하도록 설계되어 있습니다.

반면 일반적인 RDS는 주문 생성, 회원 가입, 결제와 같은 OLTP(Online Transaction Processing) 업무에 적합합니다.

3-1) OLTP vs OLAP

항목	OLTP (Online Transaction Processing)	OLAP (Online Analytical Processing)
목적	서비스 운영 및 트랜잭션 처리	대용량 데이터 분석
대표 서비스	Amazon RDS, Amazon Aurora	Amazon Redshift
주요 작업	INSERT, UPDATE, DELETE	SELECT, GROUP BY, SUM, AVG
데이터 규모	GB ~ TB	TB ~ PB(Petabyte)
조회 방식	소량 데이터를 빠르게 조회	대량 데이터를 집계 및 분석
사용자	일반 사용자, 서비스	데이터 분석가, BI, 데이터 엔지니어
대표 예시	회원 가입, 주문 생성, 결제	매출 분석, 고객 분석, 로그 분석
성능 최적화	빠른 트랜잭션 처리	빠른 집계 및 통계 분석

• OLTP → 서비스 운영
• OLAP → 데이터 분석

이라는 차이가 있습니다.

---

4. 왜 RDS 대신 Redshift를 사용할까?

RDS도 SQL을 사용할 수 있기 때문에 데이터를 분석할 수 있습니다.

하지만 서비스 운영 중에 복잡한 집계나 통계 분석을 수행하면 데이터베이스에 큰 부하가 발생합니다.

예를 들어,

• 최근 5년간 매출 집계
• 고객별 구매 통계
• 지역별 판매량 분석

과 같은 작업은 수많은 데이터를 읽어야 합니다.

 

이러한 분석 작업을 운영 데이터베이스에서 수행하면 서비스 응답 속도가 느려질 수 있습니다.

따라서 실무에서는 운영 데이터는 RDS에 저장하고, 분석이 필요한 데이터만 Redshift로 적재하여 분석을 수행하는 경우가 많습니다.

---

5. Amazon Redshift 아키텍처

Redshift는 Leader Node와 Compute Node로 구성됩니다.

• Leader Node → SQL 분석 및 작업 분배
• Compute Node → 데이터 저장 및 병렬 처리

https://thecodinginterface.com/blog/aws-redshift-data-warehouse-with-postgres-etl/

5-1) Leader Node

• Leader Node는 사용자의 SQL을 수신하고 실행 계획을 생성합니다.
• 또한 작업을 여러 Compute Node에 분배하고 최종 결과를 사용자에게 반환하는 역할을 수행합니다.

5-2) Compute Node

• Compute Node는 실제 데이터를 저장하며 Leader Node가 전달한 작업을 병렬로 수행합니다.
• 각 Compute Node는 여러 Slice로 구성되어 데이터를 동시에 처리합니다.

 

---

6. Redshift의 특징

특징	설명
Petabyte Scale	PB(Petabyte) 규모의 데이터를 저장하고 분석할 수 있도록 설계된 데이터 웨어하우스입니다.
OLAP 서비스	대량의 데이터를 집계하고 분석하는 OLAP(Online Analytical Processing)에 최적화되어 있습니다.
Columnar Storage	필요한 컬럼만 읽는 컬럼 기반 저장 방식을 사용하여 집계 및 분석 성능을 향상시킵니다.
MPP (Massively Parallel Processing)	여러 Compute Node와 Slice가 동시에 데이터를 처리하여 대용량 분석 작업을 빠르게 수행합니다.
Leader Node & Compute Node	Leader Node가 SQL을 분석하고 작업을 분배하며, Compute Node가 실제 데이터를 저장하고 병렬 처리합니다.
SQL 지원	PostgreSQL 기반 SQL을 지원하여 기존 SQL 지식을 활용해 데이터를 분석할 수 있습니다.
AWS 서비스 연동	Amazon S3, AWS Glue, Amazon Athena, Amazon QuickSight 등 다양한 AWS 분석 서비스와 쉽게 연동됩니다.
완전관리형 서비스	백업, 패치, 장애 복구, 모니터링 등 데이터베이스 운영 작업을 AWS가 관리합니다.

---

7. 언제 사용할까?

https://www.linkedin.com/posts/luminousmen_how-not-to-partition-data-in-s3-and-what-activity-7297699009798815744-laz-

Redshift는 다음과 같은 경우에 적합합니다.

• 데이터 분석 플랫폼 구축
• BI(Business Intelligence)
• 매출 분석
• 로그 분석
• 사용자 행동 분석
• 데이터 마트 구축

반대로 회원 가입이나 주문 생성처럼 실시간 트랜잭션 처리가 필요한 서비스에는 적합하지 않습니다.

---

8. RDS · DynamoDB · Redshift 비교

항목	RDS	DynamoDB	Redshift
목적	서비스 운영	초고속 Key 조회	데이터 분석
처리 방식	OLTP	Key-Value	OLAP
대표 업무	주문, 결제	세션, 장바구니	통계, BI
데이터 규모	GB ~ TB	대규모	TB ~ PB

---

9. 마치며

이번 글를 정리하며 Amazon Redshift는 단순한 데이터베이스가 아니라 대규모 데이터를 분석하기 위한 데이터 웨어하우스 서비스라는 점을 이해할 수 있었습니다. 특히 PB(Petabyte) 규모의 데이터를 저장하고 분석할 수 있도록 설계되었으며, 운영 데이터베이스와는 다른 목적을 가진 OLAP 서비스라는 점도 알게 되었습니다.

 

또한 Leader Node가 SQL을 분석하고 Compute Node가 데이터를 병렬 처리하는 아키텍처를 통해 대용량 데이터도 빠르게 분석할 수 있다는 점을 이해할 수 있었습니다. 앞으로 데이터 플랫폼을 설계할 때는 서비스 운영을 위한 데이터베이스와 데이터 분석을 위한 데이터 웨어하우스를 목적에 맞게 분리하여 사용하는 것이 중요하다는 점을 배울 수 있었습니다.