Techbrad

개요최근 대형 언어 모델(LLM)의 활용이 증가함에 따라, 이를 보다 효율적으로 로드하고 실행할 수 있는 다양한 기술이 주목받고 있습니다. 본 포스트에서는 Unsloth의 FastLanguageModel을 활용하여 Meta-Llama-3.1-8B-Instruct 모델을 로드하고 추론하는 과정을 분석합니다.환경 설정우선 Unsloth 라이브러리를 설치해야 합니다.!pip install unsloth그 후, 필요한 모듈을 임포트하고 하이퍼파라미터를 설정합니다.from unsloth import FastLanguageModelimport torchmax_seq_length = 2048dtype = Noneload_in_4bit = True모델 로드FastLanguageModel.from_pretrained를 ..

포티투닷에서 LLM 엔지니어 포지션이 열려서 지원을 했다.가장 먼저 간단한 전화 스크리닝이 진행되었고 코딩테스트 2문제를 보았다.그리고 나서 아래와 같이 면접 AI Agent 포지션에 면접을 볼 수 있는 기회를 얻었다. 면접 시간은 총 1시간 정도 보았으며 개인 기본 이력, 프로젝트 관련 경험, 회사 생활 순서로 면접을 진행했다.회사 생활을 묻는 질문에서 많이 절었다.  "본인에게 잘 맞는 리더스타일?" 과 같은 질문은 사실 깊이 생각해보지 못했다.이번 계기로 나에 대해 다시 한번 생각해보고 성과를 내기 위해 나와 맞는 사람이 어떤 사람인지 내가 어떤 역할을 잘 수행해 낼 수 있는지에 대해 생각해봐야겠다.  결과는 탈락이지만 좋은 경험이였고 회사에 나를 맞추는 것이 아닌 나에게 맞는 회사를 찾기 위해 내..

TensorRT-LLM 프레임워크는 일반적인 모델을 TensorRT Engine으로 빌드 하도록 지원해준다. Engine으로 빌드하는 것 뿐만 아니라 다양한 양자화 기법들을 제공한다. GPU에 서빙을 위해 자신만의 엔진으로 최적화 한다고 생각하면 된다. 자세한 내용은 깃헙에 들어가면 많은 설명이 있다. (개인적으로 헷갈리는 부분이 많았다.)TensorRT-LLM 서빙 헤커톤에 참여하여 A100 GPU를 가지고 모델 서빙과 양자화 등 여러 경험을 할 수 있었다. 대상 모델로 DeepSeek 모델을 선정하였고 이를 실제로 TensorRT 엔진으로 변환하고 서빙해보기로 하였다.1. 환경 설정모델을 가지고 이것 저것 해볼때 오류를 많이 접하게 되는데 라이브러리의 버전 이슈로 인하여 발생한 오류가 굉장히 많다. ..