AnySat_An Earth Observation Model for Any Resolutions and Scales and Modalities 논문 리뷰

핵심 내용

- Multimodal Joint Embedding Predictive Architecture 

 

교차 모달 마스크 자동 인코딩 기법  (cross-modal masked auto-encoding techniques)

우리는 학습된 표현(representations)이 모달리티(위성)  전반에 걸쳐 일관성이 있을 것으로 기대할 수 있음. 또한, 사용 가능한 모달리티 표현들로(위성)부터 없는 모달리티 표현을 재구성할 수 있어야 하며, 이는 교차 모달 마스크 자동 인코딩 기법의 사용을 필요로함

 

Multimodal Joint Embedding Predictive Architecture 존재 이유

EO 데이터는 날씨 조건, 획득 각도, 시간이나 연도에 따른 변동과 같은 복잡한 방해 요소의 영향을 받음

그래서, 본 논문에서는  Multimodal Joint Embedding Predictive Architecture 를 제안함

 

평가용 데이터

AnySat 효용성 입증을 위해 GeoPlex라는 데이터셋을 활용함

 

- GeoPlex

  : GeoPlex라는 5개의 다중 모달 데이터셋을 수집하였으며, 이 데이터셋은 11개의 서로 다른 센서를 포함하고 있음

 

- 외부 평가 데이터셋

 

다운스트림 태스크

- 7가지 태스크 : 분류, 분할, 변화 분할(change segmentation)

- 토지 피복 지도화, 작물 유형 분류, 나무 종 식별, 산림 파괴 탐지
   (land cover mapping, crop type classification, tree species indentification, deforestation detection )

 

 

feature-predictive 아키텍처가 무엇 ?