MLOps 시스템 구축 연구 기록 (3) 썸네일형 리스트형 초분광 시스템의 트렌드와 최신 경향은 어떠한가. (2023-2024) ㅇㅇㅇㅇㅇ 데이터 시스템 데이터 파이프라인 비교 CDC 파이프라인로깅 파이프라인ETL 파이프라인목적데이터베이스 데이터실시간 동기화로그성 비정형 데이터 수집외부 데이터의 이전 적재특징손쉬운 사용데이터베이스 데이터와 동일한형식의 데이터 이관 용이형태가 없는 데이터, 큰 대역폭의 데이터 전송에 용이CDC 파이프라인 및로깅 파이프라인 이외의모든 데이터 이전에 적용데이터테이블, 정형 데이터비정형 데이터주로 텍스트정형, 비정형 데이터CSV, 오디오, 비디오,이미지 etc제약데이터베이스 외의 지원불가데이터베이스 binlog/WAL log요구데이터의 무결성 검증 어려움데이터 후처리 비용 높음데이터 전처리 비용 높음도입 및 관리 비용 높음 Google이 제시한 ML Pipeline 내의 데이터 시스템 피처 스토어 오프라인 피처온라인 피처목.. 모델 학습 파이프라인 24-11-11 모델 학습 파이프라인 비교 실험 파이프라인서비스 파이프라인목적새로운 모델 아키텍처 및 가설 검증기존 모델 형상에 새로운 데이터 및 학습 코드 실행아키텍처아키텍처 업데이터 주기 짧음아키텍처 업데이트 주기 긺결과물모델 평가 리포트서비스에 배포할 모델 가중치 및 아티팩트영향도실 서비스에 영향도 없음 실 서비스에 영향도 높음(서비스 환경) 이전 1 다음
