티스토리

Let's go step by step

검색하기

블로그 홈

Let's go step by step

go-one-step.tistory.com/m

J-Chris 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

[논문 리뷰] Hybrid Spectral Denoising Transformer with Guided Attention GSSA는 3D 데이터 X ∈ R의 스펙트럼 D 차원을 따라 정확한 스펙트럼 어텐션을 고려하기 때문에 글로벌 스펙트럼 상관 관계를 포착하는 데 효과적이며 다양한 HSI에 유연함 하이브리드 스펙트럼 노이즈 제거 트랜스포머 이 섹션에서는 임의의 대역 수를 가진 하이퍼 스펙트럼 이미지 노이즈 제거를 위한 통합 모델인 HSDT(Hybrid Spectral Denoising Transformer)를 제시함 HSDT는 (i) 3D 컨볼루션의 대안으로 강력하고 가벼운 스펙트럼 공간 분리 가능 컨볼루션,(ii) 학습 가능한 쿼리 세트에 의해 조종되는 유도 스펙트럼 셀프 어텐션, (iii) 적응형 자체 변조 분기가 있는 자체 변조 피드포워드 네트워크. HSDT의 전체 아키텍처는 그림 3(a)에 표시된 스킵 연결[56]이.. 공감수 0 댓글수 0 2025. 4. 7.
AnySat_An Earth Observation Model for Any Resolutions and Scales and Modalities 논문 리뷰 핵심 내용- Multimodal Joint Embedding Predictive Architecture 교차 모달 마스크 자동 인코딩 기법 (cross-modal masked auto-encoding techniques)우리는 학습된 표현(representations)이 모달리티(위성) 전반에 걸쳐 일관성이 있을 것으로 기대할 수 있음. 또한, 사용 가능한 모달리티 표현들로(위성)부터 없는 모달리티 표현을 재구성할 수 있어야 하며, 이는 교차 모달 마스크 자동 인코딩 기법의 사용을 필요로함 Multimodal Joint Embedding Predictive Architecture 존재 이유EO 데이터는 날씨 조건, 획득 각도, 시간이나 연도에 따른 변동과 같은 복잡한 방해 요소의 영향을 받음그래서.. 공감수 0 댓글수 0 2025. 2. 25.
what's DPO (Direct Preference Optimization, DPO)? 25-02-06 직접 선호 최적화(Direct Preference Optimization, DPO)는 기존의 강화 학습에서 요구되는 보상 모델링 단계를 건너뛰고 선호도 데이터를 직접 사용하여 언어 모델을 최적화하는 접근 방식이다. 이 방법은 선호도 기반의 강화 학습(Preference-based RL, PbRL)과 유사한 개념에서 발전했으며, 사용자의 이진 선호(예: 더 선호하는 답변에 대한 선택)를 기반으로 한다. DPO는 복잡한 보상 함수를 명시적으로 모델링하고 최적화하는 대신, 선호도 데이터를 통해 직접 정책(policy)을 최적화함으로써, 언어 모델의 출력을 사용자의 선호와 더 잘 일치시키는 것을 목표로 한다.DPO는 기존의 강화 학습 프로세스인 RLHF(Reinforcement Learning .. 공감수 2 댓글수 1 2025. 2. 6.
[논문 리딩] HSIMamba: Hyperspectral Imaging Efficient Feature Learning with Bidirectional State Space for Classification HSImamba 나온 이유- hybrid attention 모델들은 computational intensity 라는 문제가 있다. - 장점1: 낮은 연산 복잡도 , linear memory requirements (선형 메모리 필수조건들)? - HSIMamba는 잘 구축된 비전 트랜스포머보다 성능이 좋으며, 새로운 표준이 될 것이다라고 하였다. > ViT는 컴퓨팅 연산에 문제가 많다. 대용량 이미지 파일을 필요로 한다. > 내 생각에는 ViT는 선형으로 변환하는 과정과 인풋으로 받는 과정에서도 많은 컴퓨팅 연산을 필요로 할 것이다. 트랜스포머로부터 야기된 컴퓨팅연산 문제에 의하면, SSMs stram-lined 접근법을 제시함 전통적인 attention 메커니즘에서 scalable한 SSM-bas.. 공감수 1 댓글수 0 2025. 2. 3.
train_dwg_all.sh: 4: --output_dir: not found train_dwg_all.sh: 4: --output_dir: not found python -m torch.distributed.launch --nproc_per_node=2 --master_port=25679 train_dynamic_weight_generator.py \--data_path_naip /data/jwjang/project/Dofa/data/naip/ \--output_dir checkpoints/weight_generator_1000_0.01_ER50K \ python -m torch.distributed.launch --nproc_per_node=2 --master_port=25679 train_dynamic_weight_generator.py \ ('\' 뒤에 띄어쓰기가 없어야 합.. 공감수 0 댓글수 1 2025. 1. 9.
ModuleNotFoundError: No module named 'Dataset4EO' https://github.com/EarthNets/Dataset4EO 위에 깃헙 사이트에 가서 클론하고 아래 명령어를 수행하면 된다. python -m pip install -e . GitHub - EarthNets/Dataset4EO: Officail Repo for the EarthNets Platform. https://ieeexplore.ieee.org/abstract/document/10731951Officail Repo for the EarthNets Platform. https://ieeexplore.ieee.org/abstract/document/10731951 - EarthNets/Dataset4EOgithub.com 위 사이트를 참고하여 1) ModuleNotFoundError: No.. 공감수 0 댓글수 0 2025. 1. 9.
DOFA와 SSMAE를 어떻게 합치는가. (~12/13 금요일까지) wave_dynamic_layer에서 활용되는 클래스는1) Dynamic_MLP_OFA2) Dynamic_MLP_Decoder 위주로 사용되고 있으므로 이에 대해 상세히 알아볼 필요가 있다. 1) Dynamic_MLP_OFA 역할동적 가중치 학습 : 입력 데이터의 특성(파장)에 따라 CNN의 가중치를 동적으로 생성하여 유연하게 대응함.포지셔널 임베딩 활용 : 파장의 위치 정보를 학습 과정에 통합하여 데이터의 특성을 강화함.Transformer 기반 연산 : 고차원 임베딩 공간에서 파장의 복잡한 특성을 학습하도록 도움. 입력 wv_planes=128, inter_dim=128, kernel_size=16, embed_dim=embed_dim 출력(self.) patch_embed 2) Dynamic_M.. 공감수 1 댓글수 0 2024. 12. 12.
초분광 시스템의 트렌드와 최신 경향은 어떠한가. (2023-2024) ㅇㅇㅇㅇㅇ 공감수 0 댓글수 0 2024. 12. 10.
DOFA FM 의 Pretrain Epoch가 0인데 Change Detection 성능 OA 98 나온 원인 분석 ㅇㅇㅇㅇ 공감수 0 댓글수 0 2024. 12. 10.
DOFA의 Positional Encoding은 어떻게 되어있을까 (구조적 관점) 어제 나온 이슈와 관련이 있는 것 같아서 연구를 해보려고 한다. RuntimeError: Error(s) in loading state_dict for MaskedAutoencoderViT: size mismatch for pos_embed: copying a param with shape torch.Size([1, 197, 768]) from checkpoint, the shape in current model is torch.Size([1, 5, 768]). size mismatch for decoder_pos_embed: copying a param with shape torch.Size([1, 197, 512]) from checkpoint, the shape in cu.. 공감수 0 댓글수 0 2024. 12. 10.
KeyError: 'model_state_dict' 에러 해결 예정 03_few_shot_jw.py:85: FutureWarning: You are using `torch.load` with `weights_only=False` (the current default value), which uses the default pickle module implicitly. It is possible to construct malicious pickle data which will execute arbitrary code during unpickling (See https://github.com/pytorch/pytorch/blob/main/SECURITY.md#untrusted-models for more details). In a future release, the defau.. 공감수 0 댓글수 0 2024. 12. 9.
HyperNetworks에 대한 이해 참고 : https://arxiv.org/abs/1609.09106 HyperNetworksThis work explores hypernetworks: an approach of using a one network, also known as a hypernetwork, to generate the weights for another network. Hypernetworks provide an abstraction that is similar to what is found in nature: the relationship between a genarxiv.org [1] 스펙트럼 대역과 중심 파장이란 무엇입니까? 스펙트럼 밴드는 센서가 포착하는 전자기 스펙트럼의 일부입니다. 예를 들어: 가시광선: 빨간색,.. 공감수 1 댓글수 0 2024. 11. 29.
wave_dynamic_layer 분석 wave_dynamic_layer 분석기간: 24-12-02~24-12-09 ~24-12-12 TransformerWeightGenerator 클래스 def __init__(self, input_dim, output_dim, embed_dim, num_heads=4, num_layers=1): super(TransformerWeightGenerator, self).__init__() encoder_layer = nn.TransformerEncoderLayer(d_model=input_dim, nhead=num_heads, activation='gelu', norm_first=False, batch_first=False, dropout=False) self.tra.. 공감수 0 댓글수 0 2024. 11. 28.
ModuleNotFoundError: No module named 'mmcv.cnn' 문제 상황전이학습 segmentation의 dofa_vit.py에서 mmcv와 mmengine을 사용하고 있었다.전이학습 classification에서는 models_dofa.py에서 mmengine을 사용하고 있었다.mmcv.cnn를 찾을 수 없다고 나온다. . . . Traceback (most recent call last): File "main.py", line 6, in .............................. from mmcv.cnn import build_conv_layer, build_norm_layerModuleNotFoundError: No module named 'mmcv.cnn' 해결방법분류에서는 아래 환경설정을 권장하였습니다.### Setup Environme.. 공감수 2 댓글수 0 2024. 11. 27.
DINO FM 전이학습 디노이징, 초해상도 등 관련 의문점 의문점1) 초분광 디노이징, 초해상화, 디헤이징 등을 Foundation Model 이 할 수 있게 하려면 어떻게 해야할까 ?2) HyperSIGMA는 어떻게 접근을 한 것일까 ? 디노이징, 초해상화 등은 디코더 구조로만 한 것일까 ?3) DoFA는 어떻게 분류와 분할을 어떤 방법으로 했을까? 4) DOFA 디코더는 필요한가? 공감수 0 댓글수 0 2024. 11. 26.
DDS2M - Self-Supervised Denoising Diffusion Spatio-Spectral Model for Hyperspectral Image Restoration 논문 리뷰 DDS2M - Self-Supervised Denoising Diffusion Spatio-Spectral Model for Hyperspectral Image Restoration 논문 리뷰 DDS2M의 핵심 아이디어는 제안된 VS2M의 도움으로 추가 훈련 데이터 없이 저하된 HSI만을 사용하여 확산 프로세스를 역전시키는 것 1. 이미지 복원을 위한 확산 과정을 소개2. VS2M에서의 설계를 설명하고 3. 마지막으로 VS2M 지원 역확산 과정 저하된 이미지만 사용하여 노이즈 제거를 수행할 수 있는 VS2M을 활용하여 확산 프로세스를 역전시킬 것을 제안함 DDS2M에서 사용되는 VS2M은 훈련되지 않은 공간 및 스펙트럼 네트워크와 변분 추론 기반 손실 함수로 구성 풍부도 맵 모델링을 위해 바닐.. 공감수 0 댓글수 0 2024. 11. 26.
Masked Autoencoders Are Scalable Learners 논문 리뷰 Masked Autoencoders Are Scalable Learners 논문 리뷰 공감수 0 댓글수 0 2024. 11. 26.
DDS2M 디노이징 실행시 에러 fatal error: Python.h: No such file or directory DDS2M 디노이징 연구 중 에러 발생하였습니다.fatal error: Python.h: No such file or directory 12 | #include | ^~~~~~~~~~ compilation terminated. error: command '/usr/bin/x86_64-linux-gnu-g++' failed with exit code 1 이 에러는 C 또는 C++ 확장을 컴파일하거나 파이썬 관련 라이브러리를 설치할 때, Python 헤더 파일(Python.h)이 없는 경우 발생함. Python.h는 Python 개발 도구(Development Tools)에 포함되어 있으며, 이를 설치해야 문제를 해결할 수 있음.sudo apt-get updatesudo apt-get install pyt.. 공감수 1 댓글수 0 2024. 11. 25.
데이터 시스템 데이터 파이프라인 비교 CDC 파이프라인로깅 파이프라인ETL 파이프라인목적데이터베이스 데이터실시간 동기화로그성 비정형 데이터 수집외부 데이터의 이전 적재특징손쉬운 사용데이터베이스 데이터와 동일한형식의 데이터 이관 용이형태가 없는 데이터, 큰 대역폭의 데이터 전송에 용이CDC 파이프라인 및로깅 파이프라인 이외의모든 데이터 이전에 적용데이터테이블, 정형 데이터비정형 데이터주로 텍스트정형, 비정형 데이터CSV, 오디오, 비디오,이미지 etc제약데이터베이스 외의 지원불가데이터베이스 binlog/WAL log요구데이터의 무결성 검증 어려움데이터 후처리 비용 높음데이터 전처리 비용 높음도입 및 관리 비용 높음 Google이 제시한 ML Pipeline 내의 데이터 시스템 피처 스토어 오프라인 피처온라인 피처목.. 공감수 0 댓글수 0 2024. 11. 24.
no module named 'mmcv' git clone https://github.com/open-mmlab/mmcv.gitMMCV_WITH_OPS=1 pip install -e .출처: https://eehoeskrap.tistory.com/768 [Enough is not enough:티스토리] mmcv를 설치하고 진행하는데 아래 에러가 나옴... 해결방법을 알아가는중..In file included from /home/jwjang/project/hsi/DOFA/dofaenv/lib/python3.8/site-packages/torch/include/torch/csrc/Device.h:4, from /home/jwjang/project/hsi/DOFA/dofaenv/lib/python3.8/site-p.. 공감수 0 댓글수 0 2024. 11. 22.
데이터 입력 사이즈에 따라 positional encoding 차원의 값 변형 문제 #1 문제 상황데이터 입력사이즈(W-Width, H-height, Channel)가 달라짐에 따라 positional encoding 차원의 값들도 달라질 것 입니다. 그러면 어떻게 맞춰주는게 좋을지 고민하게 되었습니다. 특히, ViT 입력으로 들어가기 위해서는 입력 이미지에 대해서 ViT의 patch_size 에 맞춰주는 작업이 필요합니다. 해당 부분을 아래 방법으로 해결하면 될 것 같다고 생각됩니다. #1 해결 방법 pos_tokens = pos_tokens.reshape(-1, orig_size, orig_size, embedding_size).permute(0, 3, 1, 2) pos_tokens = torch.nn.functional.interpolate( .. 공감수 0 댓글수 0 2024. 11. 22.
teacher모델의 입력 변형 문제 핵심 질문 리스트1) teacher 모델의 입력이 (Cx224x224) 일 때, 모델 입력이 Cx64x64로 들어온다면 어떻게 해야할까 ?2) teacher 모델의 forward 단에서 data transformation 관련 코드를 추가하거나 수정해야할까 ? 그리고 위 질문과 관련된 구체적인 내용은 아래와 같습니다.teacher 모델의 인풋이 Channelx224(Width)x224(Height) 이고, 전이학습을 위해 teacher 모델에 입력으로 들어오는 이미지 사이즈가 Channelx64(Width)x64(Height)인 경우, 어떻게 입력되는 데이터의 Width와 Height을 변형시켜서 teacher 모델 입력 사이즈와 입력되는 데이터 사이즈를 어떻게 맞춰주는 것인가? 특히, 소스코드 상.. 공감수 0 댓글수 0 2024. 11. 19.
HSI Denoising 을 하는 과정에서 발생된 데이터 사이즈 불일치 문제 (11/18) Start HSI Denoising....Traceback (most recent call last): File "main.py", line 153, in dn_main(dn_arguments) File "/home/jwjang/project/hsi/DOFA/downstream_tasks/hyperspectral-finetuning/ImageDenoising/hsi_denoising_complex_wdc.py", line 105, in main avg_psnr, avg_loss,avg_sam = engine.validate(mat_loaders[0], 'wdc_eval') File "/home/jwjang/project/hsi/DOFA/downstream_tasks/hyperspectr.. 공감수 0 댓글수 1 2024. 11. 18.
DOFA 모델 인코더 출력 정보는 무엇인가? (latent, mask, ids_restore) 전이학습인 디노이징을 하기 위해서 FM encoder 출력을 어떻게 하면 디노이징 전이학습 모델에 입력으로 적용할 수 있을지에 대한 고민을 하기 시작했다. Neural Plasticity-Inspired Multimodal Foundation Model for Earth Observation 논문에서 dofa 모델 인코더 출력에서 latent, mask, ids_restore 세 가지가 있다. 이 중에서 spatial과 spectral 정보를 모두 포함하는 것은 latent 라고 한다.latent: 인코더의 핵심 출력으로, 입력 데이터를 요약하고 압축하여 공간(spatial)과 스펙트럼(spectral) 정보를 모두 포함하는 특징 표현을 생성합니다. 이 값이 이후 모델의 다양한 다운스트림 작업에 활용되며.. 공감수 0 댓글수 0 2024. 11. 14.
[코드 분석] distillation loss 관련 내용 WHY? Distillation loss 관련 코드에서 teacher 모델과 student 모델을 통해 어떻게 loss를 계산하는지 알고 싶었습니다. HOW? - Distillation loss 는 결국 teacher모델과 student 모델 간에 코사인 유사도를 통해 loss를 계산하는 방식 같았다. (작성자 생각) WHAT? teacher 모델(z_t)은 ..?forward 코드는 다음과 같습니다.imgs는 다양한 채널 수를 가진 이미지 텐서,wave_list 는 파장 정보가 리스트 형태로 들어있습니다. def forward_zt(self, imgs, wave_list): with torch.no_grad(): if imgs.size(1)==2: .. 공감수 0 댓글수 0 2024. 11. 12.
모델 학습 파이프라인 24-11-11 모델 학습 파이프라인 비교 실험 파이프라인서비스 파이프라인목적새로운 모델 아키텍처 및 가설 검증기존 모델 형상에 새로운 데이터 및 학습 코드 실행아키텍처아키텍처 업데이터 주기 짧음아키텍처 업데이트 주기 긺결과물모델 평가 리포트서비스에 배포할 모델 가중치 및 아티팩트영향도실 서비스에 영향도 없음 실 서비스에 영향도 높음(서비스 환경) 공감수 0 댓글수 0 2024. 11. 11.
[리뷰] WSGraphCL: Weak-Strong Graph Contrastive Learning for Hyperspectral Image Classification 깃허브 WSGraphCL: Weak-Strong Graph Contrastive Learning for Hyperspectral Image Classification 깃허브만 참조하였음. (논문 X) Graph Contrastive Learning (GraphCL)이란?데이터의 다양한 관점을 비교(대조)하여 노드나 그래프의 표현을 학습하는 방법목표는 학습된 공간에서 유사한 노드나 구조가 서로 가까이 있는 반면, 서로 다른 노드나 구조는 더 멀리 떨어져 있는 표현을 학습하는 것 HSI Classification Challenging ?noisy HSI에서 세밀한 토지 유형을 정확하게 분류하는 것은 여전히 어려운 일임기존 딥러닝 모델은 noisy 초분광 데이터에서 특징을 추출하는데 어려움을 겪는 경우가 많으.. 공감수 0 댓글수 0 2024. 10. 25.
(24-10-22) 도커파일만 있는 경우 빌드하는 방법 docker-compose.yml 파일이 없고 도커파일(Dockerfile)만 있는 경우, 아래 명령어를 사용하면 사용 가능하다.docker build -t [도커이미지명] . 공감수 0 댓글수 0 2024. 10. 23.
miniforge 설치 방법 Mamba란? #1. Mamba는 Python 패키지 관리 도구인 Conda의 빠르고 효율적인 대안입니다. 초분광 데이터 처리 및 분석에 필요한 라이브러리를 설치하는 데 유용함#2. conda의 설치 단점을 보완하기 위해 C++로 작성된 것이 맘바이며, conda를 mamba로 교체하여 사용하기만 하면 됨 Anaconda가 유료인 관계로 무료로 사용하기 위한 방법이 있음 유료인 이유는 다음과 같음https://devocean.sk.com/blog/techBoardDetail.do?ID=164615&boardType=techBlog%EF%BB%BF Anaconda 꼭 사서 쓰세요. 아니라면 conda-forge! devocean.sk.com 아래 깃허브를 통해서 어떻게 설치하는지 알 수 있음https.. 공감수 0 댓글수 0 2024. 10. 15.
[논문 리딩] SpectralGPT: Spectral Remote Sensing Foundation Model 논문 리뷰 초록.파운데이션 모델은 자기지도 학습 방식에서 최근 시각 분야에 혁명을 일으킬 수 있는 잠재력으로 인해 상당한 주목을 받고 있습니다. 대부분의 기초 모델은 RGB 이미지를 효과적으로 처리하도록 맞춤화되어 있습니다. 다양한 시각적 작업을 수행하는 동안 장면에 대한 귀중한 정보를 제공하는 스펙트럼 데이터에 초점을 맞춘 연구에는 눈에 띄는 격차가 있습니다. 특히 원격 감지(RS) 애플리케이션에서 이해가 필요합니다. 이러한 격차를 메우기 위해 우리는 처음으로 범용 RS 기반을 만들었습니다. 새로운 3D 생성 사전 학습 트랜스포머를 사용하여 스펙트럼 RS 이미지를 처리하도록 특별히 제작된 SpectralGPT라는 모델 (GPT). 기존 기초 모델과 비교하여 SpectralGPT 1)은 다양한 크기, 해상도, 시간.. 공감수 0 댓글수 0 2024. 7. 30.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.