Recent Trend in Long Video Understanding Content LLM context length Compress visual tokens with streaming models  ☑️ Long Context Transfer from Laugnage to Vision (Jul 2024) Background  Video data는 너무 densy + lengthy 하고, (보통 8/32 frame 단위로 sampling해서 진행한다) high-quality long video pretraining dataset이 아직 없다. (커뮤니티의 문제) Idea Longer text data로 train해서 context length를 늘린다 Context-extended LM을 이용해 lo..

다른 분야도 겅부해야지 .. 정신차리고 .. ☑️ RewardBench (8 Jun 2024)Evaluating Reward Models for Language ModelingReward model들을 평가하는 밴치마크이다. RLHF: 사람이 만든 preference data를 이용해 reward model을 training 하는 과정   ☑️ Self-Taught Evaluators (8 Aug 2024)Reward modeling에는 human judgment annotation이 필요하지만 이건 너무 costly함Human annotation 없이 self-improvement framework를 만듦 Without any labeled preference data, our Self-Taught E..

Video editing model을 돌리다가 아래와 같은 에러가 conv2d에서 발생함을 확인했다 ㅋㅋ  File "/mnt/petrelfs/zhaozhiyuan/anaconda3/envs/minigpt4-nightly/lib/python3.9/site-packages/torch/nn/modules/conv.py", line 459, in _conv_forward return F.conv2d(input, weight, bias, self.stride,RuntimeError: GET was unable to find an engine to execute this computation여러가지 서치를 해본결과 뭐 cuda version이 안맞아서 그런거라는데.. 됐고 그냥 아래와 같이 추가해주면 된다..

이 게시글은 Language Understanding with BERT 아티클을 참고한 글이다! Thanks to Jinheon Baek~! 출국 전 NLP 공부 .. 일주일에 게시글 세개씩 올릴 것이다. 항상 겸손하기 .. ◆ BERT는 뭘까 BERT의 효용은 아래 두가지라고 저자는 주장한다. Self-supervised learning으로 raw textual data를 pre-training (즉, downstream task를 위한 encoder) 각 token에 대해 bidirectional feature representation을 학습 ◆ Building Blocks of BERT BERT의 구성요소는 1) Self-Attention 2) Transformer Encoders 3) Self-..

(24.8.26 추가) 방문해주셔서 감사합니다. 현생이 바빠서 글 업데이트를 못하고 있습니다. 기다리고 계신 분들 죄송합니다 ㅠㅠ daeun@cs.unc.edu / goodgpt@korea.ac.kr로 궁금하신 사항 메일 주시면 최대한 정성스럽게 답변 드리겠습니다. 감사합니다!오늘 시점으로 세군데의 학교 (UCSD / UNC / BU) 에서 기다렸던 오퍼를 모두 받았다.미박 준비 일기를 써야지 써야지 하다가 못썼는데, 막상 오퍼를 모두 받으니 글로 남겨야 겠다는 생각이 들어 내가 사랑하는 작고 하찮은 다컴공.. 에 남기기로 했다 ㅋㅋ (티스토리는 왜 블로그 이름이랑 도메인이 바뀌지 않는걸까..........) 연구를 해야하니 바쁘면 못올릴 것 같고, 시간날 때마다 내가 느꼈던 주관적인 것들을 하나씩 올려..

diffusers library 쓰다가.. 특정 브랜치만 클론해야해서 .. git clone -b {branch_name} --single-branch {저장소 URL}

요즘 멀티모달에 빠져있다. 간단하게 블로그에도 개괄적인 멀티모달러닝에 관해 정리하면 좋을 것 같아서 포스팅을 하려고 한다. 😉 아마 text-to-image 같은 stable diffusion을 이용한 분야가 요즘 너무 핫해서, 다들 한번 쯤은 들어봤을 분야이지 않나 싶다. 이 게시글에서는 아주 아주 직관적이고 기초적인 부분만 다룬다. # Multimodal learning의 목적? 멀티모달 (Multimodal)은 기본적으로 여러개의 데이터 형태 (소리, 이미지, 비디오, 음성) 등을 의미한다. 우리가 살고있는 세상은 생각해보면 여러개의 modality로 이루어져 있고, 당연히 uni-modal input으로 만든 모델보다 multimodal 모델이 강력한 파워를 가질 수밖에 없다. 이들을 통합해서 딥..

바빠 죽겠는데 연달아 포스팅을 하는 이유.. 방금 진짜 역대급으로 식겁했기 때문이다 ㅜㅜ 문제였던 것 이전 포스팅처럼 필자는 서버 home 폴더 청소중이었다. 캐시 파일 지우고.. 그러고 이제 환경변수 추가하려고 nano ~/ .bashrc로 캐시 저장 경로를 추가하고 있던 참이었는데.. vim 대신 nano를 처음 써봐서 그런지 어찌어찌 추가해서 잘 저장했다고 생각했는데 .. 몰라 그 이후로 conda를 물지 못하는 (=conda: command not found) 터미널이 되어버렸다. (conda 라고 터미널에 치면 아무것도 물지 못했던 그 절망적인 상황 ㅜㅜ) 되짚어보니 아마 이때부터가 아닌가 싶다. 근데 그 후로 다시 nano ~/ .bashrc를 치니 아무 것도 안나오는거다. 나는 ~/ .bas..