출처: https://arxiv.org/abs/2303.06682
DDS2M: Self-Supervised Denoising Diffusion Spatio-Spectral Model for Hyperspectral Image Restoration
Diffusion models have recently received a surge of interest due to their impressive performance for image restoration, especially in terms of noise robustness. However, existing diffusion-based methods are trained on a large amount of training data and per
arxiv.org
문제점: 노이즈가 있는 HSI를 제거하는 해결 방법이 필요했다. (원본이미지에서 구멍난 듯이 뻥뻥 뚫린 이미지를 원래 이미지로 복원하는 문제)
해결방안:
DDS2M 방법을 사용하여 초분광 이미지의 노이즈를 제거하는 원리 및 프로세스
1.기존 방법의 문제점: 초분광 이미지(HSI)를 제거하거나 복원하는 기존 방법은 많은 훈련 데이터에 의존하는 경우가 많습니다. 그러나 HSI는 복잡하고 다양한 소스에서 나올 수 있으므로 특히 훈련 데이터가 충분하지 않은 경우 이러한 방법을 다양한 유형의 HSI에 걸쳐 일반화하기가 어렵습니다.
2. DDS2M 소개: DDS2M(Denoising Diffusion Spatatio-Spectral Model)이 솔루션으로 도입되었습니다. 기존 방법과 달리 많은 양의 학습 데이터가 필요하지 않습니다. 대신, 저하된 초분광 이미지 자체에서 직접 학습하여 복원을 수행하는 자체 감독 방식을 사용합니다.
3. DDS2M 작동 방식:
- 확산 과정: HSI 품질 저하를 원본의 깨끗한 이미지가 노이즈로 인해 점차적으로 손상되는 과정이라고 생각하세요. DDS2M 접근 방식은 이 프로세스를 반대로 합니다. 노이즈가 있는 이미지에서 출발하여, 이 과정을 거쳐 깨끗한 이미지를 회복하는 것을 목표로 합니다.
- 자기 지도 학습: 모델은 외부 데이터 없이 노이즈가 있는 이미지에서 깨끗한 이미지의 특징을 직접 추론하여 확산 과정을 역전시키는 방법을 학습합니다. 이는 VS2M(Variational Spatio-Spectral Module)이라는 것을 사용하여 수행됩니다.
4. VS2M - DDS2M의 핵심:
- VS2M은 공간 및 스펙트럼 차원에 대한 훈련되지 않은 신경망과 이러한 네트워크가 잡음이 있는 이미지로부터 학습하는 데 도움이 되는 특수 손실 함수라는 두 가지 주요 구성 요소로 구성됩니다.
- 공간 및 스펙트럼 네트워크: 이 네트워크는 HSI의 고유한 공간(공간 관련) 및 스펙트럼(파장 관련) 특성을 포착하도록 설계되었습니다. 그들은 아무런 훈련 없이(훈련되지 않은) 시작하여 잡음이 있는 이미지에서 직접 깨끗한 HSI의 구조를 모델링하는 방법을 배웁니다.
- 변이 추론 기반 손실 함수: 이 함수는 모델이 실제의 깨끗한 HSI에 가까운 예측을 하도록 장려하여 학습 프로세스를 안내합니다. 수학적 트릭을 사용하여 노이즈가 있는 이미지에서 깨끗한 이미지를 추정하고 노이즈 추가 프로세스를 효과적으로 역전시킵니다.
- 반복적 개선: DDS2M은 깨끗한 이미지에 대한 예측을 반복적으로 개선합니다. 각 반복에서 현재의 최선의 추측을 사용하여 약간 더 나은 예측을 하고 점차적으로 진정한 깨끗한 이미지에 접근합니다.
- DDS2M의 장점: 이 방법은 다양한 유형의 노이즈에 강력하며 노이즈 제거하려는 특정 이미지에서 직접 학습하기 때문에 다양한 HSI에 걸쳐 잘 일반화됩니다. 이는 훈련을 위해 크고 다양한 데이터세트가 필요한 방법에 비해 상당한 이점을 제공합니다.
- 최종 결과: 최종 결과는 외부 훈련 데이터 없이 원본 이미지의 공간 및 스펙트럼 품질을 유지하는 노이즈 제거된 HSI입니다. 이는 HSI가 비싸거나 대량으로 구입하기 어려운 애플리케이션에 특히 유용합니다.
DDS2M은 확산 모델과 특별히 설계된 신경망의 고유한 속성을 활용하여 HSI의 잡음을 제거하는 새로운 자체 감독 방식을 나타냅니다. 이 접근 방식은 훈련 데이터가 부족하거나 잡음 제거할 HSI가 다양한 소스에서 나온 상황에 특히 적합합니다.
깃허브 소스코드: https://github.com/miaoyuchun/DDS2M
GitHub - miaoyuchun/DDS2M: The officoal implement of DDS2M (ICCV 2023).
The officoal implement of DDS2M (ICCV 2023). Contribute to miaoyuchun/DDS2M development by creating an account on GitHub.
github.com
