Computer Vision💖/Continual Learning

[Incremental Learning] Hybrid-based 방법론을 훑어보자(RPS-Net ,FRCL)

0. Overview 지금까지 전개된 CL 방법론 들은 크기 (1) Regularization based 방법과 (2) Rehearsal 방법으로 나뉜다. 하지만 hybrid 방법은 이 두가지는 각각 단점이 있다고 생각하고, 이들을 합쳐서 사용하는 방법이다. (1) Regularization based : 대부분의 방법이 task boundaries를 요구하고, representation drift에 민감하다. (New task가 들어오면, 기존에 최적화된 파라미터는 obsolete(무용지물)이 된다.) (2) Rehearsal based : 어떤 data를 저장할지는 heruistics하게 결정된다. 1. RPS-Net Random Path Selection for Incremental Learning..

[Incremental Learning] Rehearsal-based 방법론을 훑어보자(ER-MIR, OCS)

0. Overview Replay-based 방법은 과거의 샘플들을 replay buffer나 generative model에 저장해놓고, current task 학습에 사용하는 방법이다. 이러한 과거 샘플들을 이용해 retraining을 하기도 하고, 현재 학습의 constraints로 사용하기도 한다. 목표는 여전히 classifier $f$의 파라미터 $\theta$를 학습하는 것이다. Online learning에서는 task가 주어지지 않고, input data의 iid도 보장되지 않는다. (=single-pass through the data) 아래 방법론들은 랜덤이 아니라 샘플링을 "잘"해야한다고 주장하지만, 그 샘플링의 단위는 각각 다르니 유의해야할 것 같다. 1. ER-MIR Online..

[Incremental Learning] Architecture-based 방법론을 짚어보자

1. SupSup Supermasks in Superposition (NeurIPS'20) Training시에는 task별로 separate supermask (=subnetwork)를 학습하고, Inference 시에는 모든 task의 supermask 들을 위에 겹쳐놓고 gradients to maximize confidence를 이용해 task identity를 추론한다. (task별로 가장 좋은 성능을 낼 수 있는 supermask를 선택하기 위함) Supermask : 원래 pruning에서 나온 방법으로, 무작위로 초기화된 네트워크를 학습시켜 최종적으로 원하는 결과에 달성할 수 있는 subnetwork를 찾아내는 방법이다. Train/Test 시에 task ID 제공 여부에 따라 CL 흐름이 ..

[Incremental Learning] Continual learning 갈래 짚어보기

# Definitions Online continual setting : stream of samples가 딱 한번만 보여지고, 이들이 iid가 아닌 세팅

[Incremental Learning] Scalable and Order-robust Continual learning with Additive Parameter Decomposition 논문 리뷰

# Motivation 기존의 많은 Continual learning 알고리즘들은 large # of task에 대한 고려가 부족함. 또한 Continual learning이 풀어야할 과제는 catastrophic forgetting 뿐만 아니라, network의 capacity 증가를 고려한 "Scalability" 문제와, task order에 모델 성능이 sensitive한 "Task-order sentivity"도 존재함. 따라서 위 3개의 문제를 해결하기 위해 전체 파라미터를 task-shared / sparse task-specific 파라미터로 각 layer마다 decompose하여, task-shared 파라미터는 적극 이용하고 여기서 배울 수 없는 정보들은 task-adaptive par..

[Incremental Learning] Lifelong Learning with Dynamically Expandable Networks(DEN) 논문 리뷰

# Motivation Continual learning 시나리오에서 데이터가 들어올 때마다 기존의 network를 fine-tuning 하기에는 너무 비효율적이며, 전체를 new task를 위해 rerain 하게되면 기존의 task 학습 능력도 저하되는 문제가 발생 기존의 Regularization을 주는 Continual learning 방법들은(a) 전체 network를 previous task에 의존해 retrain해 original task와 새로운 task의 파라미터를 가깝게 위치하도록 만들어 주는 방법이었지만, 굳이 현재 task에 도움이 되는 파라미터까지 entire retrain할 필요는 없다. 따라서 DEN(c)은 selectively하게 retrain하고, 기존의 학습으로 해결할 수 ..

[Incremental Learning] Regularization-based 방법을 훑어보자 (EWC, SI, UCL)

오늘은 Continual Learning 방법론 중 Regularization-based 방법을 쭈욱 살펴보려고 한다. 대표적인 방법으로는 EWC, SI, UCL 방법이 있어서, 차례로 조금 디테일하게 포스팅해보겠다. 참고로 글쓴이도 초심자라.. 잘못된 내용이 있을 수 있다. (댓글로 지적해주세요!) Overview 아래 방법들은 previous parameter와 current parameter를 가깝게 encourage하고자 하는 방법들로, 네트워크 전체를 retrain 하는 방법들이다. L2-regularizer로 규제할 수도 있지만, 이렇게 현재의 task를 규제하게 되면 지나치게 규제가 들어가 새로운 학습이 되는 것을 막는다. 따라서 아래 3가지 방법들이 요구되는 것이다. 아래 3가지 방법들의 ..