Computer Vision💖

[Incremental Learning] Scalable and Order-robust Continual learning with Additive Parameter Decomposition 논문 리뷰

# Motivation 기존의 많은 Continual learning 알고리즘들은 large # of task에 대한 고려가 부족함. 또한 Continual learning이 풀어야할 과제는 catastrophic forgetting 뿐만 아니라, network의 capacity 증가를 고려한 "Scalability" 문제와, task order에 모델 성능이 sensitive한 "Task-order sentivity"도 존재함. 따라서 위 3개의 문제를 해결하기 위해 전체 파라미터를 task-shared / sparse task-specific 파라미터로 각 layer마다 decompose하여, task-shared 파라미터는 적극 이용하고 여기서 배울 수 없는 정보들은 task-adaptive par..

[Incremental Learning] Lifelong Learning with Dynamically Expandable Networks(DEN) 논문 리뷰

# Motivation Continual learning 시나리오에서 데이터가 들어올 때마다 기존의 network를 fine-tuning 하기에는 너무 비효율적이며, 전체를 new task를 위해 rerain 하게되면 기존의 task 학습 능력도 저하되는 문제가 발생 기존의 Regularization을 주는 Continual learning 방법들은(a) 전체 network를 previous task에 의존해 retrain해 original task와 새로운 task의 파라미터를 가깝게 위치하도록 만들어 주는 방법이었지만, 굳이 현재 task에 도움이 되는 파라미터까지 entire retrain할 필요는 없다. 따라서 DEN(c)은 selectively하게 retrain하고, 기존의 학습으로 해결할 수 ..

[Incremental Learning] Regularization-based 방법을 훑어보자 (EWC, SI, UCL)

오늘은 Continual Learning 방법론 중 Regularization-based 방법을 쭈욱 살펴보려고 한다. 대표적인 방법으로는 EWC, SI, UCL 방법이 있어서, 차례로 조금 디테일하게 포스팅해보겠다. 참고로 글쓴이도 초심자라.. 잘못된 내용이 있을 수 있다. (댓글로 지적해주세요!) Overview 아래 방법들은 previous parameter와 current parameter를 가깝게 encourage하고자 하는 방법들로, 네트워크 전체를 retrain 하는 방법들이다. L2-regularizer로 규제할 수도 있지만, 이렇게 현재의 task를 규제하게 되면 지나치게 규제가 들어가 새로운 학습이 되는 것을 막는다. 따라서 아래 3가지 방법들이 요구되는 것이다. 아래 3가지 방법들의 ..

[Generation] OASIS(You Only Need Adversarial Supervision for Semantic Image Synthesis) 논문 리뷰

Title You Only Need Adversarial Supervision for Semantic Image Synthesis (ICLR'21) Pix2pixHD의 후속 논문 중 하나로, diversity를 위한 noise를 주는 방식이 pix2pixHD 보다 괜찮을 것이라고 생각해 선택 Diversity와 perceptual loss의 한계를 강조한 paper 본 포스팅에서는 Multi-modal synthesis를 어떻게 하는지에 집중하려고 한다. Motivation 기존의 Semantic Image Synthesis를 위한 GAN model들은 VGG-based perceptual loss에 지나치게 의존한다 VGG-based perceptual loss : synthetic과 real imag..

[CV] Self-training에 대한 간단한 설명 - 가짜 라벨을 학습에 이용하기

오늘은 Lane Detection 관련 Domain Adaptation 논문을 읽다가 배운 Self-training 개념에 대해 정리해보려고 한다. 확실히 Domain 관련 분야는 학부연구생을 처음 시작했을 때 접했던 분야라 애착이 간다. # Preface 일단 Self-training은 Domain Adaptation 분야의 태크닉 중 하나이다. Domain Adaptation 분야에 대한 설명은 여기를 참고하면 좋을 것 같다. 공통적으로 Domain shift를 해결하는 방법론이며, domain에 invariant한 feature를 뽑는 것에 목적이 있다. 2021.08.27 - [Computer Vision💖/Domain Generalization] - [DG] Deep CORAL(CORelatio..

[Generation] 자세한 Pix2pixHD 논문 리뷰 (High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs)

오늘은 인턴에서 자주 접하고 있는 Pix2pixHD(CVPR 17')에 대해 포스팅해보려고 한다. 생성모델은 아직은 익숙치 않지만, 확실히 컴퓨터비전의 꽃이라고 할 만큼 재밌는 분야인 것 같다 ㅎㅎ 그럼 포스팅을 시작해보겠다! 네트워크를 중심으로 정리할 예정이다. 많은 내용을 꾹꾹 눌러담았다! # Motivation 이 글을 읽는 독자들이라면 Pix2pix라는 생성 모델을 한번 쯤 들어본 적이 있을 수도 있을 것 같다. 일단 Pix2pixHD는 high-resolution(고해상도의)한 이미지를 생성해낼 수 있도록 기존 Pix2pix를 변형한 모델이다. 따라서 pix2pix를 밟고 올라오는 모델이라고 생각하면 되겠다. 기존의 pix2pix는 고해상도의 이미지 생성이 어려웠고, global한 생성은 가능하..

[Seg] 간단히 알아보는 Segmentation, Segmentation map

오늘은 간단히 Sementic Segmentation에 대해 포스팅해보려고 한다! 아래에 해당되는 독자분들이라면 본 게시글이 도움이 될 수 있겠다. 😉🤖 그럼 차근차근 시작해보자. 예상 독자 1. 컴퓨터 비전의 Segmentation에 대한 이해가 처음이신분 # Segmentation 이란? 우선 컴퓨터비전에서 Segmentation이란 image의 픽셀별로 모든 레이블을 예측하는 분야이다. 보통 classification이나 detection의 경우에는 픽셀 단위로 무언가를 예측하지는 않는다. (최종 예측을 위해 픽셀 단위의 정보를 이용할 뿐이다!) 하지만 Segmentation은 이들과 다르게 조금 더 픽셀 단위의 세밀한 예측을 진행한다. 아래 사진을 보자. 위 사진에서 오른쪽을 보면, 픽셀별로 라벨..

[CV] ResNet-18로 특정 Image의 feature 추출하기 (PyTorch)

오늘은 리부탈에서 사용했던 간단한 feature extraction 과정을 포스팅해보려고 한다. 리부탈 끝난 기념으로 여유롭게 포스팅을 하구있다 🥳🔥 우선 오늘 포스팅할 내용은 특정 Image 하나가 들어왔을 때, 이 image를 잘 나타내는 feature를 추출하는 pytorch 방법이다. 나의 경우에는 segmentation map의 feature가 필요했고, 단순 convolution layer를 쌓는 것보다 pretrain된 PyTorch 내장 모듈을 사용하는 것이 좋을 것 같다는 생각에 ResNet을 이용하게 됐다. 우선 간단히 ResNet-18부터 짚고 넘어가고, 어떻게 특정 image의 feature를 추출하는지 그 code를 소개해보려고 한다. # ResNet-18 우선 이 글을 읽는 독자..