few shot

[XAI] OpenAI CLIP 논문 리뷰[2] - Zero shot & Representation learning

이번 포스팅에서는 저번 포스팅에서 다루었던 CLIP 논문의 Experiment를 중심으로 포스팅하겠습니다. 특히 이번 게시글에서는 zero shot learning과 representation learning에 관해 포스팅할텐데요, 역시 잘못된 점이 있다면 댓글로 알려주시면 감사하겠습니다. 👀 CLIP의 전반적인 구조 우선 CLIP의 전반적인 구조는 다음과 같습니다. 등장 배경 및 자세한 원리를 알고싶으시다면 제 이전 게시글을 참고 부탁드립니다! CLIP은 이미지와 텍스트 쌍을 input으로 부여하고, 이러한 가능한 쌍을 예측하도록 학습됩니다. 만약 실제 (이미지, 텍스트) 쌍이라면 이들의 코사인 유사도를 최대화 하고, 나머지 쌍들은 코사인 유사도를 최소화하는 방향으로 학습하는 것입니다. 이러한 과정은 ..