[논문 리딩] Hybrid Spectral Denoising Transformer with Guided Attention

출처: https://paperswithcode.com/paper/hybrid-spectral-denoising-transformer-with

Papers with Code - Hybrid Spectral Denoising Transformer with Guided Attention

 

2024-03-19 기준 시점에서 Hyperspectral Image Denoising 분야에서 HSDT-L 모델은 MPSNR 42.09로 가장 성능이 좋았다. (아래 이미지 참고)

 

• PSNR을 사용하지 않고, MPSNR을 사용했는지에 대한 이유 

 

 

HSDT(Hybrid Spectral Denoising Transformer) 방법을 사용하여 초분광 이미지에서 노이즈 제거 원리는 초분광 이미지(HSI)의 노이즈 제거를 향상시키기 위한 새로운 프레임워크를 제안하는 논문에 설명되어 있습니다. 

 

1. HSI 노이즈 제거 과제: 초분광 이미지는 표준 컬러 이미지 이상의 풍부한 스펙트럼 정보를 제공하며 원격 탐사 및 지질학과 같은 다양한 응용 분야에 유용합니다. 그러나 이러한 이미지에는 이미징 기술의 한계로 인해 노이즈가 포함되는 경우노이즈가 많아 활용도가 크게 저하될 수 있습니다. 기존의 HSI 노이즈 제거 방법과 일부 신경망 기반 접근 방식조차 HSI 내의 복잡한 공간-스펙트럼 상관 관계를 완전히 포착하는 데 어려움을 겪고 있으므로 보다 정교한 접근 방식이 필요합니다.

 

2. HSDT 접근 방식: 이 논문에서는 컨벌루션 모델의 로컬 스펙트럼-공간 편향과 장거리 스펙트럼 종속성 모델링 기능을 통합하여 이전 방법의 한계를 극복하도록 설계된 HSDT(Hybrid Spectral Denoising Transformer)를 소개합니다.  이 하이브리드 접근 방식은 HSI 노이즈를 효율적이고 효과적으로 제거하는 것을 목표로 합니다.

 

3. HSDT의 주요 구성 요소:

• S3Conv(공간-스펙트럼 분리 가능 컨볼루션): 3D 컨볼루션에 대한 경량 대안으로, 다양한 수의 대역이 있는 HSI를 처리하기 위한 유연성을 유지하면서 공간-스펙트럼 상관 특징을 추출하도록 설계되었습니다.
• GSSA(Guided Spectral Self-Attention): 이 구성 요소는 스펙트럼 시그니처(spectrum signature)를 인코딩하는 일련의 학습 가능한 쿼리에 따라 스펙트럼 대역 전체에서 3D self-attention을 수행합니다. 이 메커니즘은 전역 스펙트럼 상관 관계를 효율적으로 식별하는 기능으로 모델을 강화합니다.
• 자체 변조 피드포워드 네트워크(SM-FFN): 자체 변조를 도입하여 보다 많은 정보를 제공하는 영역의 활성화를 증폭하고, 잡음 제거를 위한 중요한 기능에 집중하는 모델의 능력을 더욱 향상시킵니다.
  • 단계별 HSI Denoising 수행:
    • 잡음이 있는 HSI는 먼저 S3Conv에 의해 처리되어 초기 공간 스펙트럼 특징을 추출합니다.
    • 이러한 기능은 GSSA에 의해 개선됩니다. GSSA는 self-attention을 사용하여 중요한 스펙트럼 대역에 초점을 맞추고 학습 가능한 쿼리를 지침으로 사용하여 장거리 스펙트럼 종속성을 효과적으로 캡처합니다.
    • 마지막으로 SM-FFN은 가장 유익한 영역에 초점을 맞춰 이러한 기능을 추가로 처리하여 잡음 제거 성능을 향상시킵니다.
  • 장점 및 성능: HSDT 방법은 HSI 노이즈 제거에 대한 기존의 최첨단 접근 방식에 비해 상당한 개선을 보여줍니다. 더 낮은 계산 오버헤드로 더 나은 노이즈 제거 결과를 달성할 뿐만 아니라 다양한 대역 수의 HSI를 처리할 수 있는 유연성을 유지하므로 광범위한 응용 분야에 적합합니다. 로컬 및 글로벌 스펙트럼 공간 특징을 효과적으로 결합하는 방법의 능력은 우수한 성능의 핵심입니다.

HSDT 방법은 중요한 공간 및 스펙트럼 정보를 보존하면서 효율적이고 효과적으로 잡음을 줄이기 위한 새로운 하이브리드 Transformer 접근 방식을 활용하여 HSI 잡음 제거의 상당한 발전을 나타냅니다.

 

깃허브 출처: https://github.com/zeqiang-lai/hsdt

GitHub - Zeqiang-Lai/HSDT: Hybrid Spectral Denoising Transformer with Guided Attention (ICCV 2023)