Techbrad

개요최근 대형 언어 모델(LLM)의 활용이 증가함에 따라, 이를 보다 효율적으로 로드하고 실행할 수 있는 다양한 기술이 주목받고 있습니다. 본 포스트에서는 Unsloth의 FastLanguageModel을 활용하여 Meta-Llama-3.1-8B-Instruct 모델을 로드하고 추론하는 과정을 분석합니다.환경 설정우선 Unsloth 라이브러리를 설치해야 합니다.!pip install unsloth그 후, 필요한 모듈을 임포트하고 하이퍼파라미터를 설정합니다.from unsloth import FastLanguageModelimport torchmax_seq_length = 2048dtype = Noneload_in_4bit = True모델 로드FastLanguageModel.from_pretrained를 ..

주제 : How to make better decisions 영어 회화 표현맨 왼쪽은 Abstract 해서 싫고 오른쪽 사진을 간단하게 설명했다.It reminds me of our past memories. 최종적으로 가운데 사진을 선택했다.When I see these pictures, I finally make my decisions by instinct. I choose the one in the middle. 그리고 나의 결정한 것들을 짧게 소개하는 것에서 결혼에 대해 얘기했다.I have been thinking of getting married for a while.She was hesistant to get married.But I convinced her to get married. 표현..

내가 진정으로 원하는 것이 무엇인지 알기 위해 노력했지만 생각보다 힘들었다. (지금도 아직 확신이 들지 않는다.)지금까지 내가 원하는 것을 뒤로하고 사회가 원하는 방향으로 살아온 시간이 길어서 그런걸까?아무튼 아래의 질문을 계속해서 나에게 던져보았다.다른 사람에게 인정받기 보다는 내 스스로 만족하는 사건이 있었는지 지속적으로 생각해보았다. 다른 사람 없이도 내가 의미를 느끼는 순간은 언제인가?내가 꼭 인정받지 않아도 스스로 가치 있다고 느끼는 것은? 나는 23살에 우연히 러닝을 접한 후 오랜 기간 러닝을 했었다.러닝을 하면 건강해지는 느낌, 만족감, 성취감 등을 느낄 수 있다.그리고 이러한 느낌은 나 자신이 가치 있다고 생각할 수 있도록 도와주었고 지속적으로 공부를 할 수 있는 원동력이 되었다. 그렇게 ..

오늘의 표현1. come up with – (해결책, 아이디어 등을) 생각해내다, 마련하다✅ "Hey, we gotta come up with something fast for tomorrow's presentation."👉 (우리 내일 프레젠테이션을 위해 빨리 뭔가를 마련해야 해.)2. put together – (이것저것 모아) 만들다, 준비하다✅ "Yeah, I can put together some slides."👉 (응, 내가 슬라이드를 준비할 수 있어.)3. work – 되다, 작동하다✅ "Does that work for you?"👉 (그거 괜찮아?)4. keep 사람 posted – (진행 상황을) 계속 알려주다✅ "I'll keep you posted on the progress."..