Data Mesh란?

1. Data Mesh 필요성

기업에서 다루는 데이터가 많아질수록 데이터 파이프라인도 복잡해집니다. 초기에는 하나의 데이터팀이 모든 데이터를 관리하는 구조로도 충분하지만, 서비스와 조직 규모가 커질수록 여러 문제가 발생합니다.

이러한 문제를 해결하기 위해 등장한 개념이 바로 데이터 메시(Data Mesh) 입니다.

이번 글에서는 데이터 메시가 무엇인지, 왜 등장했으며 기존 방식과 어떤 차이가 있는지 알아보겠습니다.

Data Mesh는 데이터를 특정 중앙 조직이 독점적으로 관리하는 것이 아니라, 각 도메인(업무 영역)이 자신의 데이터를 직접 관리하도록 하는 데이터 아키텍처 개념입니다.

예를 들어 쇼핑 서비스를 운영한다고 가정해 보겠습니다.

각 팀은 자신이 가장 잘 알고 있는 데이터를 직접 생산하고 관리하며, 다른 팀은 필요한 데이터를 공유받아 활용합니다.

즉, 데이터 관리 책임을 중앙 데이터팀 하나에 집중시키는 것이 아니라 각 도메인으로 분산시키는 방식입니다.

기존에는 하나의 데이터 플랫폼 팀이 모든 데이터를 수집하고 관리하는 구조가 일반적이었습니다.

주문 서비스
        \
결제 서비스 ----> 데이터팀 ----> 데이터 사용자
        /
회원 서비스

이 구조에서는 데이터팀이 모든 ETL 작업과 품질 관리, 데이터 제공을 담당합니다.

초기에는 효율적이지만 서비스 규모가 커질수록 다음과 같은 문제가 발생합니다.

Data Mesh에서는 각 도메인이 자신의 데이터를 직접 관리합니다.

주문 도메인 ------\
결제 도메인 -------\
회원 도메인 ---------> 데이터 사용자
물류 도메인 -------/

각 팀은

까지 책임집니다. 데이터 플랫폼 팀은 데이터를 직접 관리하기보다 공통 인프라와 표준을 제공하는 역할을 수행합니다.

구분	장점	설명
확장성	서비스와 조직 규모가 커져도 확장하기 쉽다	특정 데이터팀에 업무가 집중되지 않고 도메인별로 책임이 분산된다.
데이터 품질	도메인 지식이 반영된다	데이터를 가장 잘 이해하는 팀이 직접 관리하기 때문에 품질 향상을 기대할 수 있다.
병목 감소	데이터 요청 처리 속도가 빨라진다	중앙 데이터팀을 거치지 않고 필요한 데이터를 직접 제공할 수 있다.
책임 명확화	문제 발생 시 원인 파악이 쉽다	데이터 소유자가 명확해 장애 대응과 품질 관리가 용이하다.
자율성 향상	각 팀이 독립적으로 운영 가능하다	도메인별 요구사항에 맞춰 데이터 파이프라인을 구축할 수 있다.

구분	단점	설명
조직 문화	높은 협업 수준이 필요하다	각 팀이 데이터 관리 책임을 가져야 하므로 협업 문화와 책임 의식이 중요하다.
표준 관리	데이터 일관성이 깨질 수 있다	도메인별로 서로 다른 방식으로 운영하면 스키마나 품질 기준이 달라질 수 있다.
운영 복잡성	관리 대상이 증가한다	여러 도메인에서 각각 데이터를 운영하기 때문에 관리 범위가 넓어진다.
플랫폼 비용	추가적인 인프라 구축이 필요하다	Self-Service Platform과 거버넌스 체계를 마련해야 한다.
적용 범위	작은 조직에서는 효율이 떨어질 수 있다	데이터 규모가 크지 않은 경우 중앙 집중형 구조가 더 단순하고 효율적일 수 있다.

Data Lake가 데이터를 저장하는 공간에 대한 개념이라면, Data Mesh는 데이터를 누가 관리하고 책임질 것인가에 대한 아키텍처 개념이라고 볼 수 있습니다.

Data Mesh는 단순히 새로운 기술이 아니라 데이터 관리 방식과 조직 구조를 함께 변화시키는 개념입니다.

규모가 커질수록 중앙 데이터팀에 모든 책임이 집중되면 병목 현상이 발생할 수 있습니다. Data Mesh는 이러한 문제를 해결하기 위해 각 도메인이 데이터를 직접 관리하고 책임지도록 하는 구조를 제안합니다.

물론 모든 조직에 적합한 것은 아니지만, 데이터 규모와 조직이 커질수록 확장성과 책임 분산 측면에서 중요한 아키텍처로 주목받고 있습니다.