데이터 마트, 웨어하우스 등 개념 정리

EDW

 

 

ODS (Operational Data Store)

• 갓 생성된 다양하고 많은 양의 데이터를 정형화시켜 저장하는 곳이다.
• 이 곳의 데이터만으로는 사실상 활용이 불가능하다.

 

DW (Data Warehouse)

• ODS 데이터들을 활용이 가능한 형태로 만들어 저장하고 관리, 분석할 수 있는 시스템
• 데이터 웨어아우징이라 함은 다양하게 분포되어있는 데이터들을 분석과 데이터 웨어하우스가 활용가능한 데이터들의 집합

 

ETL (Extract, Transform, Load)

• 좁은 의미로는 Source system에서 표현계층의 데이터저장소로 가기위한 과정이다.
• 활용이 가능한 데이터들로 만들어 저장하는 것이라고 봐도 된다. (Source system -> Data warehouse, Data mart, ODS, etc...)
• 넓은 의미로 데이터를 옮기는 작업이나 변형하는 과정을 말한다.
• 말 그대로 추출하고, 변형하고, 로드하는 3가지 과정으로 이루어진다.

DM (Data Mart)

• 데이터 마트는 그 집합들 속에서 특정분야에서 필요한 데이터들만을 꺼내서 저장하는 곳
• 말 그대로 데이터 창고에서 사용자가 원하는 데이터들을 가져와서 저장하는 마트 같은 곳이다.
• 실제로 웹에서 참조하는 데이터들, 데이터 웨어하우스의 부분집합

 

출처 : 

데이터웨어하우스

https://ko.wikipedia.org/wiki/%EB%8D%B0%EC%9D%B4%ED%84%B0_%EC%9B%A8%EC%96%B4%ED%95%98%EC%9A%B0%EC%8A%A4#:~:text=%EB%8D%B0%EC%9D%B4%ED%84%B0%20%EC%9B%A8%EC%96%B4%ED%95%98%EC%9A%B0%EC%8A%A4(data%20warehouse,%EC%A4%84%EC%97%AC%EC%84%9C%20DW%EB%A1%9C%EB%8F%84%20%EB%B6%88%EB%A6%B0%EB%8B%A4.

데이터 웨어하우스 - 위키백과, 우리 모두의 백과사전

 

데이터마트

https://ko.wikipedia.org/wiki/%EB%8D%B0%EC%9D%B4%ED%84%B0_%EB%A7%88%ED%8A%B8#:~:text=%EB%8D%B0%EC%9D%B4%ED%84%B0%20%EB%A7%88%ED%8A%B8(Data%20Mart%2C%20DM,%EC%A0%9C%EA%B3%B5%ED%95%98%EB%8A%94%20%EC%97%AD%ED%95%A0%EC%9D%84%20%ED%95%9C%EB%8B%A4.

데이터 마트 - 위키백과, 우리 모두의 백과사전

 

ods, dw, dm, etl, cdc, edw, olap 개념 기초설명

https://yannichoongs.tistory.com/232

ODS, DW, DM, ETL, CDC, EDW, OLAP 정리