[논문 리뷰] Hybrid Spectral Denoising Transformer with Guided Attention

본 논문에서는 효율적인 공간 스펙트럼 Convolution과 Guided Attention 메커니즘을 결합한 초분광 이미징을 위한 HSDT(Hybrid Spectral Denoising Transformer)를 소개함

 

HSDT 3가지 구성요소 (S3Conv, GSSA, SM-FFN)

S3Conv
– 3D Convolution의 과도한 계산 부하 없이 공간 및 스펙트럼 특징을 효율적으로 잡아냄

GSSA
– Attention 메커니즘을 사용하여 global 스펙트럼 상관관계를 잡아냄
– 모델이 중요한 스펙트럼 feature에 집중하는데 도움이 되는 학습 가능한 쿼리를 사용

SM-FFN
– 이미지의 정보 영역에 초점을 강화하여 노이즈 제거 성능을 향상시킴

 

결론 (Conclusion)

- Convolution 기반 접근 방식과 Transformer 기반 접근 방식의 장점을 결합하여 초분광 노이즈를 제거

- HSDT는 이전 모델들에 비해 더 낮은 계산 비용으로 더 나은 노이즈 제거 성능을 달성함

 

기여 (Contributor)
- 노이즈 제거를 위해 공간 스펙트럼 Convolution과 Guided Attention 메커니즘을 결합한 하이브리드 모델
- Guided Attention 활용하여 모델이 스펙트럼 상관관계를 잡아냄

 

 

Abstract

본 논문에서는 초분광 이미지 노이즈 제거를 위한 Hybrid Spectral Denoising Transformer를 제시합니다.

HSDT(ing Transformer) ing. HSI에 변압기를 적용하는 데 따른 어려움은 다음과 같습니다. CNN 기반의 기존 한계를 해결할 수 있는 기능 전역 및 지역 공간 스펙트럼을 캡처하는 방법 효율성과 유연성을 유지하면서 상관관계를 분석합니다. 에게 이러한 문제를 해결하기 위해 우리는 하이브리드 접근 방식을 도입합니다. 두 모델의 장점을 공간 모델과 결합합니다. 스펙트럼 분리 가능 컨볼루션(S3Conv), 유도 스펙트럼 GSSA(Self-Attention) 및 자체 변조 피드포워드 네트워크(SM-FFN). 우리의 S3Conv는 경량 알루미늄으로 작동합니다. 더 많은 공간을 추출하는 3D 컨볼루션의 대안 유연성을 유지하면서 스펙트럼 상관 기능 임의의 수의 대역으로 HSI를 처리합니다. 이러한 특징은- 그런 다음 GSSA에 의해 적응적으로 처리됩니다. 스펙트럼 대역에 걸쳐 3D self-attention을 형성하고, 스펙트럼 신호를 인코딩하는 일련의 학습 가능한 쿼리를 통해 본성. 이는 우리 모델을 강력하게 강화할 뿐만 아니라 전역 스펙트럼 상관관계를 식별하는 완전한 기능 선형적 복잡성도 유지합니다. 게다가 우리 SM- FFN은 활동을 강화하는 자체 변조를 제안합니다. 더 많은 정보를 제공하는 지역을 통해 더욱 강화됩니다. 집계된 기능을 사용합니다. 광범위한 실험이 계속되고 있습니다. 시뮬레이션 및 실제 환경에서 다양한 데이터 세트를 기반으로 구축되었습니다. 월드 노이즈에 비해 우리의 HSDT가 훨씬 더 뛰어났음을 보여줍니다. 기존의 최첨단 방법을 수행하는 동시에 낮은 계산 오버헤드를 유지합니다.

 

Introduction [Summary]

 •  우리는 장거리 전역 스펙트럼 상관 관계(long-range global spectral correlations)와 국소 공간 스펙트럼(local spatial-spectral features)을 효과적으로 포착(capture)하는 3D 하이브리드 스펙트럼 노이즈 제거 트랜스포머 모델인 HSDT를 제시합니다.

 • 일련의 학습 가능한 쿼리를 기반으로 하는 GSSA를 소개합니다. GSSA는 HSI의 글로벌 통계(global statistics)를 인코딩하여 모델링 하고,  이전의 2D 스펙트럼/채널 차원을 대신에 3D 스펙트럼에 따른 장거리 스펙트럼 상관 관계를 모델링 합니다. 

• 새로운 자체 변조 브랜치를 갖춘 SM-FFN을 제안합니다. 모델이 더 많은 정보에 주의를 기울이도록 유도하기 위해 공간 추출을 위한 S3Conv와 함께 tive 영역 스펙트럼의 의미 있는 특징

 

Related Works

 

Vision Transformers

 

Hybrid Spectral Denoising Transformer

  1. Spectral-Spatial Separable Convolution

  2. Guided Spectral Self-Attention 

    1) Spectral Self Attention

    2) Learnable Query

    3) Alternative Training Strategy 

  3. Self-Modulated Feed-Forward Network

 

  4. Experiments

    1) Datasets

    2) Noise Settings

    3) Implementation

  4.2 Main Results

    1) Gaussian Denoising

    2) Complex Denoising

    3) Real World Denoising