![[PyTorch] Multi-GPU 사용하기 (torch.distributed.launch)](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdna%2Fs7eYv%2FbtrEuzpx055%2FAAAAAAAAAAAAAAAAAAAAAMyb2frD-Jq-PgTIhWQ2EwQ7mu2bA6RqGQGgPRUhfvUq%2Fimg.png%3Fcredential%3DyqXZFxpELC7KVnFOS48ylbz2pIh7yKj8%26expires%3D1761922799%26allow_ip%3D%26allow_referer%3D%26signature%3DnWXspvGSyIS9zx3sb%252Fwjo42uSJQ%253D)
반응형
PyTorch 환경에서 train 할 때, CUDA OOM(Out Of Memory) 에러 때문에 여러개의 gpu로 동시에 병렬적으로 train 하고싶을 때가 있다. 이때는 torch.distributed.launch 를 사용하면 되는데 이는 다음과 같다.
$ python -m torch.distributed.launch --nproc_per_node=2 train.py --launcher pytorch
참고로 위에서 --launcher는 내가 사용하는 code의 argments 중 하나이다!
반응형
'PyTorch👩🏻💻' 카테고리의 다른 글
| [PyTorch] mmcv 설치하기 / cuda 버전에 맞게 mmcv downgrade하기 / mmcv._ext error 해결 (5) | 2023.05.19 |
|---|---|
| [PyTorch] nvcc가 안될 때 ~/.bashrc 수정해 환경변수 설정하기 (1) | 2023.03.27 |
| [TIL] OpenPCDet 가상환경 세팅하기 (cuda11.1 + spconv) (1) | 2022.06.10 |
| [PyTorch] torch-sparse, torch-scatter, torch-geometric 패키지 install 하기 + 오류 해결 방법 (0) | 2022.04.30 |
| [PyTorch] PyTorch Autograd 이젠 공부하자 - pytorch.autograd 총정리하기 (+code) (0) | 2022.02.16 |