본문 바로가기

전체 글

(173)
teacher모델의 입력 변형 문제 핵심 질문 리스트1) teacher 모델의 입력이 (Cx224x224) 일 때, 모델 입력이 Cx64x64로 들어온다면 어떻게 해야할까 ?2) teacher 모델의 forward 단에서 data transformation 관련 코드를 추가하거나 수정해야할까 ?  그리고 위 질문과 관련된 구체적인 내용은 아래와 같습니다.teacher 모델의 인풋이 Channelx224(Width)x224(Height) 이고, 전이학습을 위해 teacher 모델에 입력으로 들어오는 이미지 사이즈가 Channelx64(Width)x64(Height)인 경우,  어떻게 입력되는 데이터의 Width와 Height을 변형시켜서 teacher 모델 입력 사이즈와 입력되는 데이터 사이즈를 어떻게 맞춰주는 것인가?  특히, 소스코드 상..
HSI Denoising 을 하는 과정에서 발생된 데이터 사이즈 불일치 문제 (11/18) Start HSI Denoising....Traceback (most recent call last): File "main.py", line 153, in dn_main(dn_arguments) File "/home/jwjang/project/hsi/DOFA/downstream_tasks/hyperspectral-finetuning/ImageDenoising/hsi_denoising_complex_wdc.py", line 105, in main avg_psnr, avg_loss,avg_sam = engine.validate(mat_loaders[0], 'wdc_eval') File "/home/jwjang/project/hsi/DOFA/downstream_tasks/hyperspectr..
DOFA 모델 인코더 출력 정보는 무엇인가? (latent, mask, ids_restore) 전이학습인 디노이징을 하기 위해서 FM encoder 출력을 어떻게 하면 디노이징 전이학습 모델에 입력으로 적용할 수 있을지에 대한 고민을 하기 시작했다. Neural Plasticity-Inspired Multimodal Foundation Model for Earth Observation 논문에서 dofa 모델 인코더 출력에서 latent, mask, ids_restore 세 가지가 있다. 이 중에서 spatial과 spectral 정보를 모두 포함하는 것은 latent 라고 한다.latent: 인코더의 핵심 출력으로, 입력 데이터를 요약하고 압축하여 공간(spatial)과 스펙트럼(spectral) 정보를 모두 포함하는 특징 표현을 생성합니다. 이 값이 이후 모델의 다양한 다운스트림 작업에 활용되며..