AWS DataSync 란

들어가며

기업에서는 파일 서버나 NAS(Network Attached Storage), 온프레미스 스토리지에 저장된 데이터를 AWS로 이전하거나, AWS 서비스 간 데이터를 주기적으로 동기화해야 하는 경우가 많습니다.

 

물론 aws s3 cp나 aws s3 sync 명령어를 이용해 데이터를 복사할 수도 있지만, 대용량 데이터나 지속적인 동기화 환경에서는 성능과 관리 측면에서 한계가 있습니다. 이를 해결하기 위해 AWS에서는 AWS DataSync를 제공합니다.

 

이번 글에서는 DataSync의 개념부터 동작 방식, Agent, 증분 복사(Incremental Transfer), 데이터 검증(Verification)까지 함께 알아보겠습니다.

---

1. AWS DataSync란?

https://aws.amazon.com.rproxy.goskope.com/ko/blogs/storage/how-to-accelerate-your-data-transfers-with-aws-datasync-scale-out-architectures/

AWS DataSync는 온프레미스와 AWS 또는 AWS 서비스 간 데이터를 빠르고 안전하게 전송 및 동기화하는 완전관리형 데이터 전송 서비스입니다.

 

DataSync는 단순히 파일을 복사하는 것이 아니라 변경된 파일만 전송하고, 데이터 무결성을 검증하며, 네트워크를 최적화하여 대용량 데이터도 효율적으로 이전할 수 있도록 지원합니다.

 

---

2. DataSync가 필요한 이유

기존에는

• rsync
• scp
• aws s3 cp
• aws s3 sync

등을 이용해 직접 데이터를 복사했습니다. 하지만

• 수백만 개의 파일
• 수십 TB 이상의 데이터
• 지속적인 동기화

환경에서는 관리가 쉽지 않습니다. DataSync는 이러한 과정을 자동화하여 운영 부담을 줄여줍니다.

---

3. DataSync의 특징

기능	설명
고속 데이터 전송	네트워크 최적화를 통한 빠른 전송
증분 복사	변경된 파일만 복사
데이터 검증	체크섬 기반 무결성 확인
스케줄 실행	예약된 시간에 자동 동기화
암호화	전송 중 TLS 암호화

---

 

---

4. DataSync Agent란?

https://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/how-datasync-transfer-works.html

온프레미스 데이터를 AWS로 전송하려면 DataSync Agent가 필요합니다.

Agent는 온프레미스 네트워크 내부에서 실행되며 Source 데이터를 읽어 AWS DataSync 서비스와 통신하는 역할을 합니다.

반면 AWS 내부에서만 데이터를 이동하는 경우에는 별도의 Agent가 필요하지 않습니다.

---

5. DataSync 동작 과정

위 이미지는 AWS DataSync가 데이터를 동기화하는 전체 과정을 단계별로 나타낸 것입니다. DataSync는 모든 데이터를 반복해서 복사하는 것이 아니라, 변경된 파일만 전송하고 전송이 완료된 후에는 데이터 무결성까지 검증하여 안전하게 동기화를 수행합니다.

5-1) Source 데이터 스캔

먼저 DataSync는 Source 스토리지의 파일과 폴더를 스캔하여 현재 데이터를 확인합니다.

이 과정에서 파일 목록, 디렉터리 구조, 메타데이터 등을 수집하여 동기화 대상 정보를 준비합니다.

5-2) 변경 사항 확인

이전에 전송한 파일과 현재 Source 데이터를 비교하여 변경된 파일을 식별합니다.

새롭게 생성된 파일, 수정된 파일, 삭제된 파일 등을 확인하며, 변경 사항이 없는 파일은 다시 전송하지 않습니다.

이러한 증분(Incremental) 방식 덕분에 네트워크 사용량과 전송 시간을 크게 줄일 수 있습니다.

5-3) 데이터 전송

변경된 파일만 Target 스토리지로 전송합니다. 처음 실행하는 경우에는 전체 데이터를 복사하지만, 이후부터는 변경된 데이터만 전송하므로 대용량 파일 환경에서도 효율적인 동기화가 가능합니다.

5-4) 데이터 검증

데이터 전송이 완료되면 Source와 Target의 파일을 체크섬(Checksum)으로 비교하여 데이터 무결성을 검증합니다.

이를 통해 전송 과정에서 파일이 손상되거나 누락되지 않았는지 확인하며, 안전하게 데이터가 복사되었는지 검증합니다.

5-5) 작업 완료

모든 파일의 전송과 검증이 완료되면 하나의 DataSync Task가 종료됩니다. 사용자는 작업 결과를 통해 전송 성공 여부와 오류 발생 여부 등을 확인할 수 있습니다.

5-6) 예약된 일정에 따라 재실행

DataSync는 Task에 스케줄을 설정할 수 있습니다. 예를 들어 매일 새벽이나 매주 특정 시간에 작업을 자동으로 실행하도록 설정하면, 변경된 파일만 다시 확인하여 지속적으로 데이터를 동기화합니다. 이를 통해 별도의 수동 작업 없이 최신 데이터를 유지할 수 있습니다.

---

6. 증분 복사(Incremental Transfer)

DataSync는 매번 모든 데이터를 복사하지 않습니다. 증분 복사란 매번 모든 파일을 다시 복사하는 것이 아니라, 이전 작업 이후 변경된 파일만 전송하는 방식입니다.

처음 DataSync를 실행하면 모든 파일을 Target 스토리지로 복사합니다.

Source (100만 개 파일)

↓

DataSync

↓

Target (100만 개 파일)

이후 Source에서 파일 10개만 수정되었다면, 다음 작업에서는 전체 100만 개의 파일을 다시 복사하지 않습니다.

Source (변경 파일 10개)

↓

DataSync

↓

Target (변경 파일 10개만 동기화)

이처럼 변경된 파일만 전송하기 때문에 전송 시간과 네트워크 사용량을 크게 줄일 수 있으며, 대용량 파일 환경에서도 효율적으로 데이터를 동기화할 수 있습니다. 또한 새롭게 생성된 파일뿐만 아니라 수정된 파일과 삭제된 파일 정보까지 반영하여 Source와 Target의 데이터를 동일한 상태로 유지합니다.

---

7. DataSync와 AWS Transfer Family의 차이

항목	DataSync	Transfer Family
목적	데이터 이전 및 동기화	파일 업로드/다운로드
방식	자동 동기화	SFTP, FTP, FTPS
증분 복사	지원	미지원
데이터 검증	지원	미지원
대표 활용	대용량 데이터 이전	외부 사용자 파일 전송

즉, DataSync는 데이터를 이전하는 서비스이고, Transfer Family는 파일 전송 프로토콜을 제공하는 서비스입니다.

---

8. DataSync와 DMS의 차이

항목	DataSync	DMS
대상	파일	데이터베이스
복사 단위	파일/디렉터리	테이블/레코드
대표 활용	NAS, S3, EFS	RDS, Aurora, Oracle
변경 데이터 동기화	변경 파일	CDC(Change Data Capture)

• DataSync는 파일을 이전하는 서비스
• DMS는 데이터베이스를 이전하는 서비스

---

9. 마치며

이번 글에서는 AWS DataSync의 주요 기능과 동작 방식을 살펴보았습니다.

처음에는 단순한 파일 복사 서비스라고 생각했지만, 학습하면서 증분 복사, 데이터 검증, 자동 스케줄링과 같은 기능을 통해 대용량 파일도 효율적이고 안정적으로 동기화할 수 있다는 점을 이해할 수 있었습니다.

 

또한 온프레미스 환경에서는 DataSync Agent가 데이터를 AWS로 안전하게 전송하는 역할을 수행하며, AWS 내부에서는 Agent 없이도 다양한 스토리지 서비스 간 데이터를 손쉽게 이동할 수 있다는 점도 알게 되었습니다.

 

이번 학습을 통해 DataSync는 단순한 파일 복사 도구가 아니라 파일 기반 데이터 이전과 동기화를 자동화하는 서비스라는 점을 이해하게 되었으며, 앞으로는 S3, EFS, FSx 등 다양한 AWS 스토리지 서비스와 함께 활용해 보고 싶습니다.