좌충우돌 연구실 적응기 중 단연 메인 컨텐츠는,,,,,,,, 서버와 친해지기 저번주는 간단한 cd, ls 등의 리눅스 명령어를 배웠는데,,,, 오늘은 텐서보드를 서버에 연결하는 법에 대해 배웠다. 저번주, 오늘도 멍청이 컴찐을 도와준 언니들에게 감사를 ㅠ ㅅ ㅠ 😭😭😭😭 가장 많이 참고한 블로그는 이 곳이다! https://data-newbie.tistory.com/363 remote server 로부터 Tensorboard 사용하는 방법 Tensor flow 같은 딥러닝 프레임워크를 개인 노트북에서 돌리기 어려워서 remote server에 ssh 통신을 통해 작업을 하는 분들이 많을 것이다. 필자도 보통 노트북에 있는 코어나 GPU를 사용하지 않고 remot data-newbie.tistory.com..

이번 포스팅에서는 저번 포스팅에서 다루었던 CLIP 논문의 Experiment를 중심으로 포스팅하겠습니다. 특히 이번 게시글에서는 zero shot learning과 representation learning에 관해 포스팅할텐데요, 역시 잘못된 점이 있다면 댓글로 알려주시면 감사하겠습니다. 👀 CLIP의 전반적인 구조 우선 CLIP의 전반적인 구조는 다음과 같습니다. 등장 배경 및 자세한 원리를 알고싶으시다면 제 이전 게시글을 참고 부탁드립니다! CLIP은 이미지와 텍스트 쌍을 input으로 부여하고, 이러한 가능한 쌍을 예측하도록 학습됩니다. 만약 실제 (이미지, 텍스트) 쌍이라면 이들의 코사인 유사도를 최대화 하고, 나머지 쌍들은 코사인 유사도를 최소화하는 방향으로 학습하는 것입니다. 이러한 과정은 ..

오늘은 OpenAI에서 2021년 상반기에 나온 최신 모델인 CLIP(Contrastive Language-Image Pretraining) 논문에 대해 포스팅하려고 합니다. 제가 이해한 바를 정리한 내용이니 댓글로 잘못된 내용이 있다면 꼭 알려주세요 👀 Introduction 이 글을 보시는 분들이라면 Bert, GPT 등의 모델을 한번 쯤은 들어보셨을 것입니다. 이 두 모델 모두 트랜스포머에 기반을 둔 모델인데요, 또한 이들은 모두 Raw text로부터 바로 사전학습(Pre-training) 한다는 공통점이 있습니다. 이들은 아시다시피 NLP 분야에서 뛰어난 성능을 보이고 있죠. 이렇게 사전학습 방식은 자연어 처리 분야에서는 정말 뛰어난 성과를 내고 있습니다. 하지만 이러한 사전학습 방식이 컴퓨터 비..

오늘은 Self-supervised learning(자기주도학습)과 주된 학습 방법인 Contrastive learning에 대해 포스팅하겠습니다. 먼저 Self supervised learning이 왜 필요한지부터 살펴보겠습니다. Self-supervised learning의 필요성 딥러닝 학습에는 충분한 양질의 데이터가 필요합니다. 또한 이러한 데이터들의 지도학습을 위해서는 라벨링 과정이 필수적인데요, 하지만 현실에서 데이터를 충분히 수집하기란 매우 어렵습니다. 또한, 수집된 데이터에 라벨링을 하는 과정도 시간과 노력이 많이 필요할 수밖에 없죠. 또한 의료 분야의 데이터의 경우 이러한 라벨링의 제약이 있는 경우도 분명 존재할 것입니다. 따라서 이러한 현상에 대응하기 위한 방법으로 비지도학습(Unsup..

이번 포스팅에서는 지난번 포스팅했던 AlexNet을 Keras와 PyTorch로 각각 구현하고 적용해보고자 합니다. 사실 저는 Keras에 훨씬 익숙하기에, 메인 code들은 Keras로 작성하겠습니다. 이론 설명은 지난번 포스팅을 참고해주세요! 2021.06.23 - [딥러닝(DL) 📈/CV] - [Vision] AlexNet(2012)의 구조와 논문 리뷰 [Vision] AlexNet(2012)의 구조와 논문 리뷰 오늘은 Deep한 CNN의 발전에 가장 큰 영향을 준 AlexNet(2012)에 대해 포스팅하고자 합니다. AlexNet은 2012년에 개최된 ILSVRC(ImageNet Large Scale Visual Recognition Challenge) 에서 우승을 차지한 아키텍처.. daeun-..

오늘은 Deep한 CNN의 발전에 가장 큰 영향을 준 AlexNet(2012)에 대해 포스팅하고자 합니다. AlexNet은 2012년에 개최된 ILSVRC(ImageNet Large Scale Visual Recognition Challenge) 에서 우승을 차지한 아키텍처로, 이전의 모델인 LeNet-5보다 더 Deep한 CNN 구조를 도입해 화제가 되었습니다. (여기서 LeNet-5은 정말 Simple한 초기 CNN 모델을 뜻합니다. 자세한 설명은 여기를 참고해주세요) LeNet-5의 등장 이후, 대용량의 이미지 data를 다루기 위해서는 더 큰 학습 역량(a large learning capacity)을 가진 아키텍처가 필요했습니다. 다음 그림은 LeNet-5과 AlexNet의 아키텍처를 비교해 나..

📊📈논문 참조 0. 등장 배경 VGG16, 19 : 3*3 filter를 이용해 레이어의 깊이를 늘려 우수한 성능을 보였다. 특히 CNN 계열에서 레이어가 깊어지면 특징이 더 풍부해지기 때문에, CV 분야에서의 네트워크 깊이는 많은 장점을 가져와주었다. 사람들은 따라서 VGG에 따라 깊이가 깊어지면 더 높은 성능을 낼 것이라고 생각하였다. 하지만 점차 레이어가 깊어지면 Vanishing Gradient와 같은 문제가 발생함을 인지하였으며, 따라서 본 논문에서는 레이어의 깊이가 깊어질수록, input층에 가까운 은닉층이 희미해지기에 학습에 도움이 되지 않을수도 있음을 주장하였다. 본 논문은 레이어의 깊이에 따른 문제를 종합적으로 지적하고 있다. 1. 잔여블록 (Residual Block) 실제로 우리가 원..

정규표현식 확인할 수 있는 사이트 regexr.com/5mhou 여기서 \는 back slash를 의미 code 의미 code 의미 gr(e|a)y e또는 a로 이루어진 문자 gr[ead]y 대괄호 중 하나라도 만족하는 문자 찾기 [a-zA-z0-9] 모든 소문자, 대문자, 숫자를 모두 찾음 [^a-zA-z0-9] 뒤 집합을 제외한 나머지 것 (^) gra?y 물음표 앞 a가 있거나 없는 경우 (zero or one) gra*y * 앞 a가 있거나, 없거나, 많거나를 찾음 (zero or more) gra+y 하나 또는 많이, 없는 경우는 포함X (one or more) gra{2}y a가 두번나오는 경우만 선택 gra{2,3}y a가 최소 2번, 최대 3번 나오는 경우 선택 \bYa 맨 앞에서 쓰이는 ..