GSSA는 3D 데이터 X ∈ R의 스펙트럼 D 차원을 따라 정확한 스펙트럼 어텐션을 고려하기 때문에 글로벌 스펙트럼 상관 관계를 포착하는 데 효과적이며 다양한 HSI에 유연함
하이브리드 스펙트럼 노이즈 제거 트랜스포머 이 섹션에서는 임의의 대역 수를 가진 하이퍼 스펙트럼 이미지 노이즈 제거를 위한 통합 모델인 HSDT(Hybrid Spectral Denoising Transformer)를 제시함
HSDT는 (i) 3D 컨볼루션의 대안으로 강력하고 가벼운 스펙트럼 공간 분리 가능 컨볼루션,
(ii) 학습 가능한 쿼리 세트에 의해 조종되는 유도 스펙트럼 셀프 어텐션,
(iii) 적응형 자체 변조 분기가 있는 자체 변조 피드포워드 네트워크.
HSDT의 전체 아키텍처는 그림 3(a)에 표시된 스킵 연결[56]이 있는 U자형 인코더-디코더를 따릅니다.
이러한 계층적 다중 스케일 설계는 계산 부담을 줄일 뿐만 아니라 기존의 일반 Transformer와 다른 수용 필드를 증가시킵니다[40, 17]. 일반적으로 HSDT는 일련의 Transformer 블록을 다음과 같이 적층하여 구축됩니다
HSDT 아키텍처. 우리는 (a) 각 Transformer 블록이 (d) Spectral-Spatial Separable Convolution, (b) Guided Spectral Self-Attention, (c) Self-Modulated Feed-Forward Network를 순차적으로 스택할 수 있도록 계층적 멀티스케일 인코더-디코더를 채택함
1. 잡음이 있는 입력 HSI가 주어지면 먼저 헤드 트랜스포머 블록을 통해 저수준 피처로 투사된 다음
2. 여러 트랜스포머 블록을 통과하여 공간 및 스펙트럼 차원을 따라 피처를 융합합니다
3. 잔류 연결은 최종 출력과 입력 잡음 이미지에 추가됩니다. 우리는 업샘플링을 위해 삼선형 보간을 사용하고 모든 수준의 변압기 블록에서 추가 스킵 연결을 채택합니다.
복잡하고 시간이 많이 소요되는 이미징 프로세스로 인해 각 장치에 대해 많은 양의 교육 데이터를 수집하는 것은 여전히 어렵습니다. 따라서 HSI 노이즈 제거 방법의 주요 관심사 중 하나는 단일 모델을 사용하여 다른 대역 수의 이미지를 처리하여 서로 다른 장치에서 수집한 데이터 세트를 보다 충분한 학습에 공동으로 사용할 수 있는지 여부
슬라이딩 윈도우 노이즈 제거 전략[71]과 Conv3D[66]가 채택되어 대역 유연성 네트워크를 구축
S3Conv(Spectral-Spatial Separable Convolution)를 제안
S3Conv는 공간 채널 분리 가능 대신 공간 스펙트럼이므로 스펙트럼 상관 관계를 추출하는 데 더 적합
공간 또는 채널 차원보다 스펙트럼을 따라 3D SA를 적용하는 효율적인 GSSA(Guided Spectral Self-Attention)를 제안
GSSA는 HSI의 스펙트럼 상관 관계에 의해 직관적으로 지원되며 선형 복잡성 및 장거리 관계 모델링 기능을 갖추고 있음
신호가 더 높은 대역(SNR)을 가진 더 많은 정보를 제공하는 대역에 주의를 기울이도록(Attn) 모델을 안내함
S3Conv는 효율성과 유연성을 해치지 않으면서 높은 상관관계가 있는 로컬 공간 스펙트럼 기능을 추출하는 반면, GSSA는 대역별 스펙트럼 서명을 인코딩하는 학습 가능한 쿼리 세트에 의해 안내되는 글로벌 스펙트럼 상관 관계를 캡처할 수 있는 더 강력한 기능을 제공함