Techbrad

Hugging Face의 Trainer 클래스로 LLM(Large Language Model)을 학습할 때 자주 발생하는 문제 중 하나는 GPU 메모리 부족 현상입니다. 특히 학습 단계보다 평가(Evaluation) 단계에서 갑자기 GPU 메모리 사용량이 급격히 증가하며, 평가가 끝난 이후에도 메모리가 줄어들지 않고 계속 유지되어 결국 메모리 부족(OOM, Out of Memory)이 발생할 수 있습니다.이러한 문제를 해결하기 위한 두 가지 주요 방법을 소개하겠습니다.1. preprocess_logits_for_metrics 활용preprocess_logits_for_metrics는 평가 단계에서 모델의 예측 결과인 logits를 사전 처리할 수 있도록 제공되는 파라미터입니다. 이를 통해 GPU 메모리를..

개요최근 대형 언어 모델(LLM)의 활용이 증가함에 따라, 이를 보다 효율적으로 로드하고 실행할 수 있는 다양한 기술이 주목받고 있습니다. 본 포스트에서는 Unsloth의 FastLanguageModel을 활용하여 Meta-Llama-3.1-8B-Instruct 모델을 로드하고 추론하는 과정을 분석합니다.환경 설정우선 Unsloth 라이브러리를 설치해야 합니다.!pip install unsloth그 후, 필요한 모듈을 임포트하고 하이퍼파라미터를 설정합니다.from unsloth import FastLanguageModelimport torchmax_seq_length = 2048dtype = Noneload_in_4bit = True모델 로드FastLanguageModel.from_pretrained를 ..

주제 : How to make better decisions 영어 회화 표현맨 왼쪽은 Abstract 해서 싫고 오른쪽 사진을 간단하게 설명했다.It reminds me of our past memories. 최종적으로 가운데 사진을 선택했다.When I see these pictures, I finally make my decisions by instinct. I choose the one in the middle. 그리고 나의 결정한 것들을 짧게 소개하는 것에서 결혼에 대해 얘기했다.I have been thinking of getting married for a while.She was hesistant to get married.But I convinced her to get married. 표현..

오늘의 표현1. come up with – (해결책, 아이디어 등을) 생각해내다, 마련하다✅ "Hey, we gotta come up with something fast for tomorrow's presentation."👉 (우리 내일 프레젠테이션을 위해 빨리 뭔가를 마련해야 해.)2. put together – (이것저것 모아) 만들다, 준비하다✅ "Yeah, I can put together some slides."👉 (응, 내가 슬라이드를 준비할 수 있어.)3. work – 되다, 작동하다✅ "Does that work for you?"👉 (그거 괜찮아?)4. keep 사람 posted – (진행 상황을) 계속 알려주다✅ "I'll keep you posted on the progress."..

포티투닷에서 LLM 엔지니어 포지션이 열려서 지원을 했다.가장 먼저 간단한 전화 스크리닝이 진행되었고 코딩테스트 2문제를 보았다.그리고 나서 아래와 같이 면접 AI Agent 포지션에 면접을 볼 수 있는 기회를 얻었다. 면접 시간은 총 1시간 정도 보았으며 개인 기본 이력, 프로젝트 관련 경험, 회사 생활 순서로 면접을 진행했다.회사 생활을 묻는 질문에서 많이 절었다.  "본인에게 잘 맞는 리더스타일?" 과 같은 질문은 사실 깊이 생각해보지 못했다.이번 계기로 나에 대해 다시 한번 생각해보고 성과를 내기 위해 나와 맞는 사람이 어떤 사람인지 내가 어떤 역할을 잘 수행해 낼 수 있는지에 대해 생각해봐야겠다.  결과는 탈락이지만 좋은 경험이였고 회사에 나를 맞추는 것이 아닌 나에게 맞는 회사를 찾기 위해 내..

Step1. 준비 없이 스피킹 해보기Thesedays, they're a lots of comprehensive frameworks well designed to develop and apply model to ai application.  Reducing parameter in the model results in lesser expensive training and inference resources and there are more benefits like a dramatic reduction in the latency and real-time interactions with application regardless of network conditions.  Step2. 인풋을 통해 실력 업그레이드..