Techbrad

Hugging Face의 Trainer 클래스로 LLM(Large Language Model)을 학습할 때 자주 발생하는 문제 중 하나는 GPU 메모리 부족 현상입니다. 특히 학습 단계보다 평가(Evaluation) 단계에서 갑자기 GPU 메모리 사용량이 급격히 증가하며, 평가가 끝난 이후에도 메모리가 줄어들지 않고 계속 유지되어 결국 메모리 부족(OOM, Out of Memory)이 발생할 수 있습니다.이러한 문제를 해결하기 위한 두 가지 주요 방법을 소개하겠습니다.1. preprocess_logits_for_metrics 활용preprocess_logits_for_metrics는 평가 단계에서 모델의 예측 결과인 logits를 사전 처리할 수 있도록 제공되는 파라미터입니다. 이를 통해 GPU 메모리를..

개요최근 대형 언어 모델(LLM)의 활용이 증가함에 따라, 이를 보다 효율적으로 로드하고 실행할 수 있는 다양한 기술이 주목받고 있습니다. 본 포스트에서는 Unsloth의 FastLanguageModel을 활용하여 Meta-Llama-3.1-8B-Instruct 모델을 로드하고 추론하는 과정을 분석합니다.환경 설정우선 Unsloth 라이브러리를 설치해야 합니다.!pip install unsloth그 후, 필요한 모듈을 임포트하고 하이퍼파라미터를 설정합니다.from unsloth import FastLanguageModelimport torchmax_seq_length = 2048dtype = Noneload_in_4bit = True모델 로드FastLanguageModel.from_pretrained를 ..

딥러닝(DeepLearning)이란? 딥러닝 주제 중에 자연어처리 등 코딩으로 학습을 위주로 하면서 경사하강법, 로스 등 적용되는 원리에 대해 많이 생각해본 적이 없었다. 이번 대학원 강의 수업은 딥러닝의 원리를 파악하는데 techbrad.tistory.com 이전 글에서 딥러닝이란 인공 신경망을 사용해서 데이터를 가장 잘 표현하는 weight를 구하는 것이라는 것을 익혔다. weight를 구하기 위해서 실제 값과 예측 값의 차이를 구한 손실 (Loss)를 활용하는 것이다. 근데 이게 직관적으로 와닿진 않는다. 손실은 x.xxxx와 같이 소수점으로 표현이 될텐데 이걸로 가중치를 어떻게 업데이트 할까? 감이 안잡힌다... 일단 먼저 Pytorch 학습 코드를 좀 봐보자. outputs = Model(ima..

딥러닝 주제 중에 자연어처리 등 코딩으로 학습을 위주로 하면서 경사하강법, 로스 등 적용되는 원리에 대해 많이 생각해본 적이 없었다. 이번 대학원 강의 수업은 딥러닝의 원리를 파악하는데 많은 도움이 되었다. 딥러닝 목표는 데이터를 입력했을때 출력값에 대해 예상 값과 실제 값과의 차이를 최소화하는 학습 방법? 이다. 굉장히 단순해 보인다 ^^; 고양이 사진을 데이터로 입력하고 예상 값은 고양이라는 레이블인데 개라는 레이블이 출력이 되었을 때의 차이를 최소화 하는 것이다. 대충 감이 오는데 사진의 차이를 구한다? 이거를 어떻게 학습하지? 어떤 방식인지 많은 의문이 생겼다! "모든 입력 값은 숫자로 변환되어 차이를 구하게 된다." 고양이 사진이나 텍스트 등 입력값은 컴퓨터가 인식할 수 있도록 숫자로 입력된다...