Hugging Face Trainer를 활용한 LLM 학습 시 평가 단계에서 GPU 메모리 부족 해결 방법
Hugging Face의 Trainer 클래스로 LLM(Large Language Model)을 학습할 때 자주 발생하는 문제 중 하나는 GPU 메모리 부족 현상입니다. 특히 학습 단계보다 평가(Evaluation) 단계에서 갑자기 GPU 메모리 사용량이 급격히 증가하며, 평가가 끝난 이후에도 메모리가 줄어들지 않고 계속 유지되어 결국 메모리 부족(OOM, Out of Memory)이 발생할 수 있습니다.이러한 문제를 해결하기 위한 두 가지 주요 방법을 소개하겠습니다.1. preprocess_logits_for_metrics 활용preprocess_logits_for_metrics는 평가 단계에서 모델의 예측 결과인 logits를 사전 처리할 수 있도록 제공되는 파라미터입니다. 이를 통해 GPU 메모리를..
AI & BigData/LLM
2025. 5. 10. 14:38
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- 딥러닝
- springboot
- 시간초과
- java
- FastAPI
- 보안기사
- t-test
- 우선순위큐
- 백준
- 정보보안
- 자료구조
- Python
- 분산시스템
- 리눅스
- 카카오페이면접후기
- 그리디
- 프로그래머스
- llm
- huggingface
- 정보보안기사
- 파이썬
- LangChain
- 카카오페이
- 코딩테스트
- Ai
- 다이나믹프로그래밍
- 보안
- lightsail
- linux
- synflooding
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
글 보관함