전체 글

[DG] Domain Generalization의 대표 알고리즘을 DomainBed로 알아보자 (+ Code)

오늘은 facebook에서 발표한 DomainBed를 정리하며 Domain Generalization의 대표 알고리즘을 알아보겠습니다. 우선 Domain Generalization에 대해 간단히 소개하자면, train과 test의 distribution shift (domain shift)를 완화할 수 있는 generalize된 기법을 고안하는 분야입니다. 대표적으로는 train과 test distribution 모두에서 invariant 한 feature를 추출하는 것에 집중하는 알고리즘 계열이 있습니다. DomainBed는 facebook에서 발표한 DG 분야의 benchmark dataset과 알고리즘 등을 모아 정리한 논문입니다. DomainBed에 수록되어있는 데이터셋과 알고리즘 등은 우선 다음..

광합성 하면서 타닥타닥 ✨

찐 행복했던 순간!!!! 💘 근데 MLDG가 막막한건 맞다,,,,,,,,,,

[Linux] 리눅스 명령어 Kill이 안될때 !

서버를 쓰다가 3시간짜리 코드를 1시간 남기고,, 시간 없어서 control + z로 정지했는데,,, 이게 비정상적인 정지로 먹혔나보다. 그래서 이번에 또 glances의 GPU 사용량이 ,,, 또,,, 차있어서 CUDA oom error가 나는거다 ㅠㅠㅠ 교수님한테 맨날 찐같이 가서 ㅠ ㅅ ㅠ 맨날 귀찮게 도커 다시만들어주시고 그랬는데,,, 암튼 ,,, 드디어 해결 방법을 찾았다! 가장 많이 참고한 블로그는 여기다 ㅠ ㅠ https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=neakoo35&logNo=30126659800 좀비 프로세스 KILL 흔히 프로세스를 죽이기 위해서 다음 명령을 사용한다. # kill [PID] 이래도 안죽는 ..

[XAI] OpenAI CLIP 논문 리뷰[3] - Domain Generalization

오늘은 CLIP에 대한 마지막 포스팅으로, CLIP 논문의 마지막 실험 챕터인 "Robustness to Natural Distribution Shift" 에 대해 포스팅하겠습니다. 역시 잘못된 부분이 있다면 댓글 부탁드립니다 👀 또한 CLIP의 전반적인 개념과 zero-shot, representation learning의 실험과 내용에 대해 궁금하신 분은 제 이전 게시글을 참고 부탁드립니다. [딥러닝(DL) 📈/XAI] - [XAI] CLIP(Contrastive Language-Image Pre-training) 논문 리뷰 [딥러닝(DL) 📈/XAI] - [XAI] Zero shot & Representation learning 에서의 CLIP - 논문리뷰 + Code 우선 챕터에 들어가기 전에 '..

[Linux] Remote 서버에서 Tensorboard 연결하기

좌충우돌 연구실 적응기 중 단연 메인 컨텐츠는,,,,,,,, 서버와 친해지기 저번주는 간단한 cd, ls 등의 리눅스 명령어를 배웠는데,,,, 오늘은 텐서보드를 서버에 연결하는 법에 대해 배웠다. 저번주, 오늘도 멍청이 컴찐을 도와준 언니들에게 감사를 ㅠ ㅅ ㅠ 😭😭😭😭 가장 많이 참고한 블로그는 이 곳이다! https://data-newbie.tistory.com/363 remote server 로부터 Tensorboard 사용하는 방법 Tensor flow 같은 딥러닝 프레임워크를 개인 노트북에서 돌리기 어려워서 remote server에 ssh 통신을 통해 작업을 하는 분들이 많을 것이다. 필자도 보통 노트북에 있는 코어나 GPU를 사용하지 않고 remot data-newbie.tistory.com..

[XAI] OpenAI CLIP 논문 리뷰[2] - Zero shot & Representation learning

이번 포스팅에서는 저번 포스팅에서 다루었던 CLIP 논문의 Experiment를 중심으로 포스팅하겠습니다. 특히 이번 게시글에서는 zero shot learning과 representation learning에 관해 포스팅할텐데요, 역시 잘못된 점이 있다면 댓글로 알려주시면 감사하겠습니다. 👀 CLIP의 전반적인 구조 우선 CLIP의 전반적인 구조는 다음과 같습니다. 등장 배경 및 자세한 원리를 알고싶으시다면 제 이전 게시글을 참고 부탁드립니다! CLIP은 이미지와 텍스트 쌍을 input으로 부여하고, 이러한 가능한 쌍을 예측하도록 학습됩니다. 만약 실제 (이미지, 텍스트) 쌍이라면 이들의 코사인 유사도를 최대화 하고, 나머지 쌍들은 코사인 유사도를 최소화하는 방향으로 학습하는 것입니다. 이러한 과정은 ..

[XAI] OpenAI CLIP 논문 리뷰[1] - 전반적인 아키텍처

오늘은 OpenAI에서 2021년 상반기에 나온 최신 모델인 CLIP(Contrastive Language-Image Pretraining) 논문에 대해 포스팅하려고 합니다. 제가 이해한 바를 정리한 내용이니 댓글로 잘못된 내용이 있다면 꼭 알려주세요 👀 Introduction 이 글을 보시는 분들이라면 Bert, GPT 등의 모델을 한번 쯤은 들어보셨을 것입니다. 이 두 모델 모두 트랜스포머에 기반을 둔 모델인데요, 또한 이들은 모두 Raw text로부터 바로 사전학습(Pre-training) 한다는 공통점이 있습니다. 이들은 아시다시피 NLP 분야에서 뛰어난 성능을 보이고 있죠. 이렇게 사전학습 방식은 자연어 처리 분야에서는 정말 뛰어난 성과를 내고 있습니다. 하지만 이러한 사전학습 방식이 컴퓨터 비..

[CV] Self-supervised learning(자기주도학습)과 Contrastive learning - 스스로 학습하는 알고리즘

오늘은 Self-supervised learning(자기주도학습)과 주된 학습 방법인 Contrastive learning에 대해 포스팅하겠습니다. 먼저 Self supervised learning이 왜 필요한지부터 살펴보겠습니다. Self-supervised learning의 필요성 딥러닝 학습에는 충분한 양질의 데이터가 필요합니다. 또한 이러한 데이터들의 지도학습을 위해서는 라벨링 과정이 필수적인데요, 하지만 현실에서 데이터를 충분히 수집하기란 매우 어렵습니다. 또한, 수집된 데이터에 라벨링을 하는 과정도 시간과 노력이 많이 필요할 수밖에 없죠. 또한 의료 분야의 데이터의 경우 이러한 라벨링의 제약이 있는 경우도 분명 존재할 것입니다. 따라서 이러한 현상에 대응하기 위한 방법으로 비지도학습(Unsup..