Linux

[Linux] Huggingface model default 저장 경로 (./.cache) 변경하기 (HF_HOME 지정)

당니이 2024. 9. 30. 06:22
반응형

허깅페이스 모델들을 마구잡이로 다운 받다보면,, 디폴트 저장 경로가 /home/daeun/.cache/huggingface 이런 식으로 home 폴더로 설정되어 있는걸 확인할 수 있다. (화남) 

하지만 home 폴더에 제약이 걸려있는 서버 환경이라면,, 이 디폴트 저장 경로를 다른 경로로 바꿔줘야 할 것 ! 


# 가장 쉬운 방법 

가장 쉬운 방법은 HF_HOME 경로를 export 해주는 것이다. 아래와 같이 직접 터미널에 코드를 실행하기 전 export 해주자 

export HF_HOME=/nas-ssd2/daeun/.cache/

영구적으로 위 변수를 추가하고 싶다면 아래와 같이 하면 된다. .bashrc에 추가하는 것임

echo 'export HF_HOME=/nas-ssd2/daeun/.cache/' >> ~/.bashrc
source ~/.bashrc

 

# 심볼릭 링크를 걸자 

다른 방법으로는 symlink를 거는 방법이 있다. 아래와 같이 직접 걸어주면 된다. 아래 코드 작업은 home 폴더 안에 huggingface 폴더 안에서 실행시키자. 

# from inside the ~/.cache/huggingface folder open terminal and do this
ln -s /your/new/path/.../hugginface/hub hub
ln -s /your/new/path/.../hugginface/modules modules

이런식으로 걸고 ls-l 로 확인해보면 symlink가 잘 걸렸는지 확인할 수 있다. 내가 지정한 path에 home폴더에 저장될 캐시 파일을 대신 저장하겠다는 뜻이다. 

다들 클린한 home 폴더 사용 되시길 ,, 

반응형