HSImamba 나온 이유
- hybrid attention 모델들은 computational intensity 라는 문제가 있다.
- 장점1: 낮은 연산 복잡도 , linear memory requirements (선형 메모리 필수조건들)?
- HSIMamba는 잘 구축된 비전 트랜스포머보다 성능이 좋으며, 새로운 표준이 될 것이다라고 하였다.
> ViT는 컴퓨팅 연산에 문제가 많다. 대용량 이미지 파일을 필요로 한다.
> 내 생각에는 ViT는 선형으로 변환하는 과정과 인풋으로 받는 과정에서도 많은 컴퓨팅 연산을 필요로 할 것이다.
트랜스포머로부터 야기된 컴퓨팅연산 문제에 의하면,
SSMs stram-lined 접근법을 제시함
전통적인 attention 메커니즘에서 scalable한 SSM-based backbone으로 대체하였음
HSIMamba의 핵심은 parameters A와 B로의 변환이다.
이러한 파라미터들은 reversed bidirectional processing 접근을 가능케한다.
이것은 모델이 분광 정보를 잡아내고 통합하는 능력을 강화시킨다.
Methodology
A. HSIMamba Model Preliminaries
'논문 리딩(초분광AI)' 카테고리의 다른 글
[논문 리뷰] Hybrid Spectral Denoising Transformer with Guided Attention (0) | 2025.04.07 |
---|---|
AnySat_An Earth Observation Model for Any Resolutions and Scales and Modalities 논문 리뷰 (0) | 2025.02.25 |
HyperNetworks에 대한 이해 (0) | 2024.11.29 |
Masked Autoencoders Are Scalable Learners 논문 리뷰 (0) | 2024.11.26 |
[리뷰] WSGraphCL: Weak-Strong Graph Contrastive Learning for Hyperspectral Image Classification 깃허브 (0) | 2024.10.25 |