PAPER

[PyTorch] 모델 efficiency 측정하기 (used gpu memory / parameter 개수 / Inference time)

모델 efficiency를 측정하다가, 아래와 같은 수치가 필요해져서 한번 정리해놓는다. # GPU memory consumption 참고 doc def to_MB(a): return a/1024.0/1024.0 print(f"After model to device: {to_MB(torch.cuda.memory_allocated()):.2f}MB") 위에서 출력된 nividia-smi 와 다르니 주의해아한다. 왜냐면 nvidia-smi는 reserved memory를 반환하고, 위 코드는 allocated memory를 반환하기 때문이다. 흔히 reserved memory는 캐시까지 포함한 메모리를 일컫는다고 한다. # Parameter count 이건 단순 trainable parameter의 개수를 ..