당니이
다은이의 컴퓨터 공부
당니이
전체 방문자
오늘
어제
  • 분류 전체보기 (140)
    • Achieved 👩🏻 (14)
      • 생각들 (2)
      • TIL (6)
      • Trial and Error (1)
      • Inspiration ✨ (0)
      • 미국 박사 준비 🎓 (1)
    • Computer Vision💖 (39)
      • Basic (9)
      • Video (5)
      • Continual Learning (7)
      • Generative model (2)
      • Domain (DA & DG) (5)
      • Multimodal (8)
      • Multitask Learning (1)
      • Segmentation (1)
      • Colorization (1)
    • RL 🤖 (4)
    • Autonomous Driving 🚙 (11)
      • Geometry (4)
      • LiDAR 3D Detection (1)
      • Trajectory prediction (2)
      • Lane Detection (1)
      • HDmap (3)
    • Linux (15)
    • PyTorch👩🏻‍💻 (10)
    • Linear Algebra (2)
    • Python (5)
    • NLP (11)
      • Article 📑 (1)
    • Algorithms 💻 (22)
      • Basic (8)
      • BAEKJOON (8)
      • Programmers (2)
    • ML (1)
      • 통계적 머신러닝(20-2) (1)
    • SQL (3)
    • 기초금융 💵 (1)

블로그 메뉴

  • 홈
  • About me

공지사항

인기 글

태그

  • domain generalization
  • 리눅스
  • Linux
  • dfs
  • 자료구조
  • domain adaptation
  • NLP
  • 백준
  • 코딩테스트
  • LLM
  • 알고리즘
  • Python
  • conda
  • CL
  • CV
  • pytorch
  • continual learning
  • til
  • 백트래킹
  • Incremental Learning

최근 댓글

최근 글

티스토리

hELLO · Designed By 정상우.
당니이

다은이의 컴퓨터 공부

[Linux] Huggingface model default 저장 경로 (./.cache) 변경하기 (HF_HOME 지정)
Linux

[Linux] Huggingface model default 저장 경로 (./.cache) 변경하기 (HF_HOME 지정)

2024. 9. 30. 06:22
반응형

허깅페이스 모델들을 마구잡이로 다운 받다보면,, 디폴트 저장 경로가 /home/daeun/.cache/huggingface 이런 식으로 home 폴더로 설정되어 있는걸 확인할 수 있다. (화남) 

하지만 home 폴더에 제약이 걸려있는 서버 환경이라면,, 이 디폴트 저장 경로를 다른 경로로 바꿔줘야 할 것 ! 


# 가장 쉬운 방법 

가장 쉬운 방법은 HF_HOME 경로를 export 해주는 것이다. 아래와 같이 직접 터미널에 코드를 실행하기 전 export 해주자 

export HF_HOME=/nas-ssd2/daeun/.cache/

영구적으로 위 변수를 추가하고 싶다면 아래와 같이 하면 된다. .bashrc에 추가하는 것임

echo 'export HF_HOME=/nas-ssd2/daeun/.cache/' >> ~/.bashrc
source ~/.bashrc

 

# 심볼릭 링크를 걸자 

다른 방법으로는 symlink를 거는 방법이 있다. 아래와 같이 직접 걸어주면 된다. 아래 코드 작업은 home 폴더 안에 huggingface 폴더 안에서 실행시키자. 

# from inside the ~/.cache/huggingface folder open terminal and do this
ln -s /your/new/path/.../hugginface/hub hub
ln -s /your/new/path/.../hugginface/modules modules

이런식으로 걸고 ls-l 로 확인해보면 symlink가 잘 걸렸는지 확인할 수 있다. 내가 지정한 path에 home폴더에 저장될 캐시 파일을 대신 저장하겠다는 뜻이다. 

다들 클린한 home 폴더 사용 되시길 ,, 

반응형
저작자표시 (새창열림)

'Linux' 카테고리의 다른 글

[TIL] torch.distributed.DistBackendError: NCCL error, Internal check failed 에러 해결하기  (0) 2025.02.05
[Linux] conv2d 시행 시 Runtime error: GET was unable to find an engine to execute 에러 해결  (0) 2024.05.09
[Git] 특정 브랜치만 clone하기  (0) 2024.03.05
[Linux] 갑자기 conda를 찾을 수 없을 때 ~/.bashrc 확인하기  (2) 2024.01.06
[Linux] .cache 폴더 삭제하기 - conda, pip cache 파일 삭제하기  (1) 2024.01.06
    'Linux' 카테고리의 다른 글
    • [TIL] torch.distributed.DistBackendError: NCCL error, Internal check failed 에러 해결하기
    • [Linux] conv2d 시행 시 Runtime error: GET was unable to find an engine to execute 에러 해결
    • [Git] 특정 브랜치만 clone하기
    • [Linux] 갑자기 conda를 찾을 수 없을 때 ~/.bashrc 확인하기
    당니이
    당니이
    씩씩하게 공부하기 📚💻

    티스토리툴바