diffusers library 쓰다가.. 특정 브랜치만 클론해야해서 .. git clone -b {branch_name} --single-branch {저장소 URL}

요즘 멀티모달에 빠져있다. 간단하게 블로그에도 개괄적인 멀티모달러닝에 관해 정리하면 좋을 것 같아서 포스팅을 하려고 한다. 😉 아마 text-to-image 같은 stable diffusion을 이용한 분야가 요즘 너무 핫해서, 다들 한번 쯤은 들어봤을 분야이지 않나 싶다. 이 게시글에서는 아주 아주 직관적이고 기초적인 부분만 다룬다. # Multimodal learning의 목적? 멀티모달 (Multimodal)은 기본적으로 여러개의 데이터 형태 (소리, 이미지, 비디오, 음성) 등을 의미한다. 우리가 살고있는 세상은 생각해보면 여러개의 modality로 이루어져 있고, 당연히 uni-modal input으로 만든 모델보다 multimodal 모델이 강력한 파워를 가질 수밖에 없다. 이들을 통합해서 딥..

바빠 죽겠는데 연달아 포스팅을 하는 이유.. 방금 진짜 역대급으로 식겁했기 때문이다 ㅜㅜ 문제였던 것 이전 포스팅처럼 필자는 서버 home 폴더 청소중이었다. 캐시 파일 지우고.. 그러고 이제 환경변수 추가하려고 nano ~/ .bashrc로 캐시 저장 경로를 추가하고 있던 참이었는데.. vim 대신 nano를 처음 써봐서 그런지 어찌어찌 추가해서 잘 저장했다고 생각했는데 .. 몰라 그 이후로 conda를 물지 못하는 (=conda: command not found) 터미널이 되어버렸다. (conda 라고 터미널에 치면 아무것도 물지 못했던 그 절망적인 상황 ㅜㅜ) 되짚어보니 아마 이때부터가 아닌가 싶다. 근데 그 후로 다시 nano ~/ .bashrc를 치니 아무 것도 안나오는거다. 나는 ~/ .bas..

우리의 서버 내 home 폴더의 용량을 가장 많이 잡아먹는 친구가 누군지 아는가?conda env? anaconda directory? 아니다. 바로 .cache 일 수 있다는 점! (나도 알고 싶지 않았다고..!)  .cache 삭제하기 살면서 home 폴더의 용량을 줄이고 싶을 때가 한번쯤은 오게된다. 그 때는 .cache를 살펴보자! 필자는 cache가 home 폴더에서 무려 33G 중 15G를 차지하고 있음을 알아내었다. (ㅋㅋ) 심각한 상태를 알았다면 소리를 한번 지르고.. 경악을 해준 뒤 이제 지워주자!구글링을 해보니 .cache는 함부로 지우면 안된다고 한다. 따라서 pip와 conda의 .cache를 지워주는 방법은 아래와 같다. #pippip cache purge#condaconda cl..

요즘 데이터셋 엄청 다운받고.. Ablation 을 하느라 실험을 남발했던 나.. 결국 -bash: cannot create temp file for here-document: No space left on device 라는 오류를 만나게 된다. ^-^ 저 오류는 cd 를 칠 때마다 나와서.. 정말 킹받는다.. 일단 특정 폴더 용량 확인하는 법은 아래와 같다. du -sh 폴더이름 가장 용량이 큰 top10 디렉토리 확인하는 법은 뭘까 ! 아래 명령어를 확인하고 싶은 폴더 경로에서 실행하면 된다. $ du -hsx * | sort -rh | head -n 10 그럼 아래와 같이 범인들이 색출된다. 딱 대자. 그리고 필요 없으면 삭제를 해주면 된다 ~! 83G wr_tools 1.2G exp.city 99..

요즘 모델 아키텍처적인 설계를 많이 하구있다. 사실 내가 가장 못하는 구현이기도 하다. ㅜㅜ 연구를 점점 해나갈수록 내가 상대적으로 잘하는 것, 못하는 것이 슬슬 구분되기 시작하는데 이건 내가 못하는 것에 속한다 ㅎㅋ.. 예전에 친한 언니가 딥러닝은 차원맞추기라고 하는 얘기를 들었던 적이 있는데, 요즘 공감되구 있다. 암튼 ViT 아키텍처를 고치다가, weight matrix를 중간에 추가해야할 일이 생겼다. 그런데 dimension이 맞지 않는거다. 예를 들어서 아래와 같은 상황이다. [1, 65536, 64] 텐서에 특정 weight matrix를 곱해서, 결과적으로 [1,8] 크기의 행렬을 만들어야 함 # Flatten? 나는 아키텍처 설계에 익숙치 않기 때문에, 위와 같은 상황에서 처음에는 아래와..

오늘은 논문용 그림을 그리다가.. T-SNE plotting에 대해 나중에 또 쓸 일이 있을 것 같아서 간단히 정리해놓는다! 😎 여러 공모전 참여에서 얻은 overfitting의 상처로.. 연구를 처음 배울 때부터 나는 domain shift에 관심이 많았다. DG/DA paper들에서 꼭 보이는 plot이 T-SNE plot 인데, 데이터들 사이에 domain shift를 보여주기에 딱이다. 이 포스팅에서는 ResNet18에서 얻은 feature들을 T-SNE으로 차원축소해, 이들이 얼마나 떨어져있는지 plotting 하는 방법을 다룬다. [1] Pretrained ResNet18 Setting 먼저 PyTorch 내장된 ResNet을 불러온다. ResNet18은 특히 Input size가 (224, ..

오늘 우연히 난징..에서 오신 교수님 세미나를 듣게됐다. 가벼운 마음으로 갔는데 생각보다 내 관심분야랑 비슷해서 안들으려다가 슈루룩 들어버렸당. VQA는 원래도 좀 관심이 많았는데, (예전에 연구하려다가 엎어진..) 걍 아이디어 노트 개념으로 기록해놓는당 (가독성 떨어질 수 있음) Current problem of LLM .. Model Memorization > brittle GPT prompt sensitivity > unstable performance (bc of memory-based generalization이어서 그럼) Keys to unlock LLM capabilities .. Chain-of-thought prompting Think step by step Instruction Tuni..