AWS Batch란

들어가며

데이터 처리나 머신러닝 학습처럼 시간이 오래 걸리는 작업은 사용자 요청이 있을 때마다 즉시 실행하기보다 일괄 처리(Batch Processing) 방식으로 실행하는 경우가 많습니다.

 

기존에는 이러한 작업을 수행하기 위해 EC2 서버를 직접 생성하고, 작업을 스케줄링하며, 사용하지 않는 서버를 관리해야 했습니다. 하지만 작업량은 시간에 따라 달라지기 때문에 항상 서버를 실행해 두는 것은 비용과 운영 측면에서 비효율적일 수 있습니다.

이러한 문제를 해결하기 위해 AWS에서는 AWS Batch를 제공합니다.

 

AWS Batch는 배치 작업을 실행하기 위한 완전관리형 서비스로, 작업량에 맞춰 필요한 컴퓨팅 자원을 자동으로 생성하고 작업이 끝나면 자원을 회수하여 효율적으로 배치 작업을 수행할 수 있도록 지원합니다.

 

이번 글에서는 AWS Batch의 기본 개념부터 동작 과정, 구성 요소, AWS Glue와의 차이까지 살펴보겠습니다.

---

1. AWS Batch란?

AWS Batch는 배치 작업(Batch Job)을 자동으로 실행하고 관리하는 완전관리형 서비스입니다. 특히 Batch 작업은 Docker 컨테이너 형태로 실행되며, EC2 또는 AWS Fargate 환경에서 동작할 수 있습니다.

 

AWS Batch는 대량의 데이터를 한 번에 처리하거나 시간이 오래 걸리는 작업을 자동으로 실행하고 관리하는 완전관리형 배치 처리 서비스입니다.

 

개발자는 실행할 프로그램과 필요한 실행 환경만 정의하면, AWS Batch가 작업량에 맞춰 필요한 컴퓨팅 자원을 자동으로 준비하고 작업이 완료되면 자원을 회수합니다. 따라서 인프라 관리보다 배치 작업 자체에 집중할 수 있습니다.

 

작업의 규모와 요구 사항에 따라 컴퓨팅 자원을 자동으로 선택하고 확장할 수 있어, 대용량 데이터 처리나 반복적인 배치 작업을 효율적으로 수행할 수 있습니다.

---

2. AWS Batch의 특징

기능	설명
Docker 기반 실행	컨테이너 단위로 작업 실행
자동 리소스 생성	작업량에 따라 EC2/Fargate 자동 생성
자동 스케줄링	작업 우선순위와 큐 관리
자동 확장	필요한 만큼 컴퓨팅 자원 확장
사용량 기반 과금	실행한 컴퓨팅 자원에 대해서만 비용 발생

---

3. AWS Batch 구성 요소

https://www.linkedin.com/pulse/aws-compute-services-comprehensive-guide-varun-akuthota-gqymc/

3-1) Job Definition

• 실행할 프로그램과 Docker 이미지, CPU, 메모리 등의 실행 환경을 정의합니다.

3-2) Job Queue

• 실행을 기다리는 작업이 저장되는 대기열입니다. 우선순위에 따라 작업이 실행됩니다.

3-3) Batch Scheduler

• Batch Scheduler는 Queue에 있는 작업을 확인하고
  • 우선순위
  • 컴퓨팅 자원 사용량
  • 실행 가능 여부
• 등을 고려하여 어떤 작업을 먼저 실행할지 결정합니다.

3-4) Compute Environment

• Scheduler의 결정에 따라 Compute Environment가 준비됩니다. 실제 작업을 수행하는 컴퓨팅 환경입니다.
  • Amazon EC2
  • Spot Instance
  • AWS Fargate
• 등을 사용할 수 있습니다.

3-5) Job

• 준비된 Compute Environment에서 Docker 컨테이너가 실행되어 배치 작업을 수행합니다.
• 작업이 완료되면 결과를 Amazon S3 등 지정된 저장소에 저장하며, 사용한 컴퓨팅 자원은 자동으로 회수됩니다.

---

4. EC2와 Spot Instance 활용

AWS Batch는 작업량에 따라 다양한 컴퓨팅 환경을 사용할 수 있습니다.

4-1) EC2

• 안정적인 성능이 필요한 작업에 적합합니다.

4-2) Spot Instance

AWS의 남는 자원을 활용하여 비용을 크게 절감할 수 있습니다.

다만 언제든 회수될 수 있으므로

• 머신러닝 학습
• 데이터 분석
• 대용량 배치 처리

등 중단되어도 다시 실행 가능한 작업에 적합합니다.

---

5. 작업 스케줄링

AWS Batch는 다양한 서비스와 연동하여 자동으로 작업을 실행할 수 있습니다.

5-1) EventBridge

Amazon EventBridge는 시간이나 특정 이벤트를 기준으로 AWS 서비스를 자동 실행할 수 있는 이벤트 관리 서비스입니다.

예를 들어 매일 새벽 2시에 로그 분석이나 데이터 집계 작업을 수행해야 한다면, EventBridge에서 스케줄을 설정하여 AWS Batch Job을 자동으로 실행할 수 있습니다.

 

즉, 정해진 시간이나 이벤트를 기준으로 Batch 작업을 시작하는 역할을 담당합니다.

• 매일 새벽 2시 데이터 집계
• 매주 일요일 백업 작업
• S3 파일 업로드 후 Batch 작업 실행

5-2) Step Functions

AWS Step Functions는 여러 작업을 순차적 또는 조건에 따라 실행할 수 있도록 워크플로우를 구성하는 서비스입니다.

하나의 Batch 작업만 실행하는 것이 아니라, 여러 Batch Job을 순서대로 실행하거나 이전 작업의 성공 여부에 따라 다음 작업을 수행하도록 구성할 수 있습니다.

 

즉, 여러 Batch 작업을 연결하고 실행 순서를 관리하는 역할을 담당합니다.

API 요청

↓

Lambda

↓

AWS Batch

↓

SNS 알림

이처럼 EventBridge는 '언제 실행할 것인가'를 담당하고, Step Functions는 '어떤 순서로 실행할 것인가'를 담당한다고 이해하면 됩니다.

---

6. AWS Batch와 AWS Glue 비교

두 서비스 모두 데이터를 처리할 수 있지만 목적이 다릅니다.

항목	AWS Batch	AWS Glue
목적	모든 배치 작업	ETL 전용
실행 환경	Docker	Apache Spark
사용 언어	자유	Python, Scala
인프라 관리	AWS가 관리	AWS가 관리
대표 활용	AI, 분석, 시뮬레이션	데이터 ETL

• AWS Glue는 데이터 ETL 작업에 최적화
• AWS Batch는 모든 종류의 배치 작업 실행

---

7. 마치며

이번 글에서는 AWS Batch의 기본 개념과 동작 방식을 살펴보았습니다.

처음에는 단순히 배치 작업을 실행하는 서비스라고 생각했지만, 학습하면서 Docker 기반으로 작업을 실행하고, 작업량에 따라 EC2나 Fargate를 자동으로 준비하여 배치 처리를 수행하는 서비스라는 점을 이해할 수 있었습니다.

 

또한 Job Definition, Job Queue, Compute Environment를 통해 작업을 체계적으로 관리하고, EventBridge나 Step Functions와 연계하여 반복적인 배치 작업을 자동화할 수 있다는 점도 알게 되었습니다.

 

특히 AWS Glue와 비교하면서 Glue는 ETL 작업에 특화되어 있는 반면, AWS Batch는 Docker 기반의 다양한 배치 작업을 실행할 수 있다는 차이점도 이해할 수 있었습니다.