전체 글

[Incremental Learning] Lifelong Learning with Dynamically Expandable Networks(DEN) 논문 리뷰

# Motivation Continual learning 시나리오에서 데이터가 들어올 때마다 기존의 network를 fine-tuning 하기에는 너무 비효율적이며, 전체를 new task를 위해 rerain 하게되면 기존의 task 학습 능력도 저하되는 문제가 발생 기존의 Regularization을 주는 Continual learning 방법들은(a) 전체 network를 previous task에 의존해 retrain해 original task와 새로운 task의 파라미터를 가깝게 위치하도록 만들어 주는 방법이었지만, 굳이 현재 task에 도움이 되는 파라미터까지 entire retrain할 필요는 없다. 따라서 DEN(c)은 selectively하게 retrain하고, 기존의 학습으로 해결할 수 ..

[Incremental Learning] Regularization-based 방법을 훑어보자 (EWC, SI, UCL)

오늘은 Continual Learning 방법론 중 Regularization-based 방법을 쭈욱 살펴보려고 한다. 대표적인 방법으로는 EWC, SI, UCL 방법이 있어서, 차례로 조금 디테일하게 포스팅해보겠다. 참고로 글쓴이도 초심자라.. 잘못된 내용이 있을 수 있다. (댓글로 지적해주세요!) Overview 아래 방법들은 previous parameter와 current parameter를 가깝게 encourage하고자 하는 방법들로, 네트워크 전체를 retrain 하는 방법들이다. L2-regularizer로 규제할 수도 있지만, 이렇게 현재의 task를 규제하게 되면 지나치게 규제가 들어가 새로운 학습이 되는 것을 막는다. 따라서 아래 3가지 방법들이 요구되는 것이다. 아래 3가지 방법들의 ..

[알고리즘] Kadane’s(카데인) Algorithm - Array에서 부분합의 최대 찾기

요즘 매일 leetcode daily 문제를 풀고 있다. 생각보다 동기부여가 잘 되어서 너무 좋다! 오늘은 Dynamic Programming 알고리즘의 일종인 Kadane’s(카데인) Algorithm에 대해 포스팅해보고자 한다. Dynamic programming은 문제를 sub problems로 나누어, sub problem을 그 다음 step의 답을 구하는데에 계속해서 저장해놓고 이용하는 개념이다. # Kadane's Algorithm? 일단 이 알고리즘은 숫자 Array가 주어졌을 때, 이 array 내 연속된 subset 원소들의 합 중 가장 max인 값을 반환하는 알고리즘이다. 문제를 예로 들면 이렇다. 주어진 배열 A를 [1,-2,3,5,-4,2,5] 라고 했을 때 Maximum Subar..

[Linux] 여러 디렉토리를 merge하기

모델들을 돌리다보면 데이터셋을 구성하는 과정에서 데이터 디렉토리를 merge 해야할 경우가 많이 발생한다. 하지만 보통 데이터 디렉토리는 너무 크므로... 이들을 직접 copy & paste 하기에는 너무 느릴 수 있다. 따라서 이럴 때는 다음과 같은 명령어를 사용하면 된다! 아래 명령어는 b 디렉토리에 있는 데이터를 a 디렉토리로 merge 하겠다는 것이다. (b > a) $ rsync -avhu --progress b/ a/ 출처는 여기이다! :)

[HDMap] HDMapNet (ICRA'22) - 이미지로부터 HDMap을 생성하기

Title HDMapNet: An Online HD Map Construction and Evaluation Framework (ICRA’22) Paper link Codes Motivation HD semantic map을 생성하는 기존의 방법은 manually하게 annotation이 필요한 과정이 많음 따라서 이를 개선하기 위해 on-board sensor (surrounding camera + lidar)를 이용해 vectorized local semantic map을 생성하는 framework 제안 Ego vehicle의 정확한 pose를 추정하는 것은 non-linear least-square 문제임을 지적 Methodology Image encoder : Surrounding image에서 ..

[HDMap] HDMap 밴치마크 데이터셋 정리 - nuScenes, Argoverse..

HDMap benchmark datasets usages HDMapGen: A Hierarchical Graph Generative Model of High Definition Maps(CVPR'21) Argoverse Miami(204km의 차선)와 Pittsburg(86km의 차선)에서 촬영된 map 여기서 12000개의 map을 FOV 200m * 200m 로 랜덤샘플링 In-house dataset (WAYMO) San Francisco에서 촬영된 6000개의 map (FOV 120m * 120m)에 evaluation HDMapNet: An Online HD Map Construction and Evaluation Framework(IROS'22) nuScenes In-house dataset ..

[Generation] OASIS(You Only Need Adversarial Supervision for Semantic Image Synthesis) 논문 리뷰

Title You Only Need Adversarial Supervision for Semantic Image Synthesis (ICLR'21) Pix2pixHD의 후속 논문 중 하나로, diversity를 위한 noise를 주는 방식이 pix2pixHD 보다 괜찮을 것이라고 생각해 선택 Diversity와 perceptual loss의 한계를 강조한 paper 본 포스팅에서는 Multi-modal synthesis를 어떻게 하는지에 집중하려고 한다. Motivation 기존의 Semantic Image Synthesis를 위한 GAN model들은 VGG-based perceptual loss에 지나치게 의존한다 VGG-based perceptual loss : synthetic과 real imag..

[Python] 디렉토리 내 특정 파일 삭제하기

이 Python 카테고리에는 각종 잊기 싫은 잡기술만 써놓는 것 같지만.. 기분탓이다 ! Python으로 특정 파일명을 가진 파일을 한번에 삭제할 수 있는 아주 이득인 방법을 알아냈다. 바로 다음과 같이 실행하면 된다. "특정문자" 안에는 삭제하고 싶은 파일들에 공통으로 들어간 특정 문자를 넣어주면 된다! import glob import os [os.remove(f) for f in glob.glob('폴더 경로/*특정문자*')]