허깅페이스 모델들을 마구잡이로 다운 받다보면,, 디폴트 저장 경로가 /home/daeun/.cache/huggingface 이런 식으로 home 폴더로 설정되어 있는걸 확인할 수 있다. (화남)
하지만 home 폴더에 제약이 걸려있는 서버 환경이라면,, 이 디폴트 저장 경로를 다른 경로로 바꿔줘야 할 것 !
# 가장 쉬운 방법
가장 쉬운 방법은 HF_HOME 경로를 export 해주는 것이다. 아래와 같이 직접 터미널에 코드를 실행하기 전 export 해주자
export HF_HOME=/nas-ssd2/daeun/.cache/
영구적으로 위 변수를 추가하고 싶다면 아래와 같이 하면 된다. .bashrc에 추가하는 것임
echo 'export HF_HOME=/nas-ssd2/daeun/.cache/' >> ~/.bashrc
source ~/.bashrc
# 심볼릭 링크를 걸자
다른 방법으로는 symlink를 거는 방법이 있다. 아래와 같이 직접 걸어주면 된다. 아래 코드 작업은 home 폴더 안에 huggingface 폴더 안에서 실행시키자.
# from inside the ~/.cache/huggingface folder open terminal and do this
ln -s /your/new/path/.../hugginface/hub hub
ln -s /your/new/path/.../hugginface/modules modules
이런식으로 걸고 ls-l 로 확인해보면 symlink가 잘 걸렸는지 확인할 수 있다. 내가 지정한 path에 home폴더에 저장될 캐시 파일을 대신 저장하겠다는 뜻이다.
다들 클린한 home 폴더 사용 되시길 ,,
반응형
'Linux' 카테고리의 다른 글
[Linux] conv2d 시행 시 Runtime error: GET was unable to find an engine to execute 에러 해결 (0) | 2024.05.09 |
---|---|
[Git] 특정 브랜치만 clone하기 (0) | 2024.03.05 |
[Linux] 갑자기 conda를 찾을 수 없을 때 ~/.bashrc 확인하기 (2) | 2024.01.06 |
[Linux] .cache 폴더 삭제하기 - conda, pip cache 파일 삭제하기 (1) | 2024.01.06 |
[Linux] du로 폴더 용량 확인 / 가장 용량 큰 폴더 top 10 확인 후 삭제하기 (2) | 2023.10.19 |