continual learning

0. Overview Replay-based 방법은 과거의 샘플들을 replay buffer나 generative model에 저장해놓고, current task 학습에 사용하는 방법이다. 이러한 과거 샘플들을 이용해 retraining을 하기도 하고, 현재 학습의 constraints로 사용하기도 한다. 목표는 여전히 classifier $f$의 파라미터 $\theta$를 학습하는 것이다. Online learning에서는 task가 주어지지 않고, input data의 iid도 보장되지 않는다. (=single-pass through the data) 아래 방법론들은 랜덤이 아니라 샘플링을 "잘"해야한다고 주장하지만, 그 샘플링의 단위는 각각 다르니 유의해야할 것 같다. 1. ER-MIR Online..

1. SupSup Supermasks in Superposition (NeurIPS'20) Training시에는 task별로 separate supermask (=subnetwork)를 학습하고, Inference 시에는 모든 task의 supermask 들을 위에 겹쳐놓고 gradients to maximize confidence를 이용해 task identity를 추론한다. (task별로 가장 좋은 성능을 낼 수 있는 supermask를 선택하기 위함) Supermask : 원래 pruning에서 나온 방법으로, 무작위로 초기화된 네트워크를 학습시켜 최종적으로 원하는 결과에 달성할 수 있는 subnetwork를 찾아내는 방법이다. Train/Test 시에 task ID 제공 여부에 따라 CL 흐름이 ..

# Definitions Online continual setting : stream of samples가 딱 한번만 보여지고, 이들이 iid가 아닌 세팅

# Motivation 기존의 많은 Continual learning 알고리즘들은 large # of task에 대한 고려가 부족함. 또한 Continual learning이 풀어야할 과제는 catastrophic forgetting 뿐만 아니라, network의 capacity 증가를 고려한 "Scalability" 문제와, task order에 모델 성능이 sensitive한 "Task-order sentivity"도 존재함. 따라서 위 3개의 문제를 해결하기 위해 전체 파라미터를 task-shared / sparse task-specific 파라미터로 각 layer마다 decompose하여, task-shared 파라미터는 적극 이용하고 여기서 배울 수 없는 정보들은 task-adaptive par..

오늘은 Continual Learning 방법론 중 Regularization-based 방법을 쭈욱 살펴보려고 한다. 대표적인 방법으로는 EWC, SI, UCL 방법이 있어서, 차례로 조금 디테일하게 포스팅해보겠다. 참고로 글쓴이도 초심자라.. 잘못된 내용이 있을 수 있다. (댓글로 지적해주세요!) Overview 아래 방법들은 previous parameter와 current parameter를 가깝게 encourage하고자 하는 방법들로, 네트워크 전체를 retrain 하는 방법들이다. L2-regularizer로 규제할 수도 있지만, 이렇게 현재의 task를 규제하게 되면 지나치게 규제가 들어가 새로운 학습이 되는 것을 막는다. 따라서 아래 3가지 방법들이 요구되는 것이다. 아래 3가지 방법들의 ..