리뷰를 하다가 Test-Time Domain Adaptation (TTDA) 관련 paper를 보게됐다. 단순 DA 분야는 익숙한 분야이지만, Test-Time Domain Adaptation은 익숙치 않은 용어라 간단히 정리하고 넘어가려고 한다.
# Domain Adaptation
우선 Domain Adaptation이란 서로 다른 distribution을 가진 두 도메인에 robust한 모델을 만드는 것을 목적으로 하는 분야이다. 여기서 주로 두 두메인은 source domain과 target domain으로 나뉘며, 서로 다른 데이터셋 분포를 가진다고 가정한다. 만약 source domain에서 학습된 모델을 target domain에 적용하려면 두 도메인은 분포가 다르기 때문에 당연히 문제가 발생할 것인데, 이러한 문제를 주로 "domain shift" 라고 칭한다. 아래 그림처럼 말이다.
따라서 이러한 domain shift를 예방할 수 있는, 조금 더 domain에 robust한 모델을 만드는 것이 Domain Adaptation의 목표라고 할 수 있겠다.
현재까지 나온 Domain Adaptation 모델들이 궁금하다면 여기를 참고해보자. Facebook에서 정리한 레포리지토리이며, 계속 새로운 모델이 등장할 때마다 code가 추가되는 유용한 repo이다. (제 블로그 글도 있습니다.. 💖)
# Test-Time Domain Adaptation
그렇다면 Test-Time Domain Adaptation 이란 source domain에서 pretrain된 모델을 target domain에 source domain data 없이 적응(adapt) 시키는 태크닉을 말한다. 한 paper에서는 기존 DA 알고리즘과 다음과 같은 차이점이 있다고 말한다.
