Techbrad

mlflow에 LLM Deployment Server를 사용하는 방법이 있어 실제로 실습을 진행했다. Config.yamlendpoints:- name: completions endpoint_type: llm/v1/completions model: provider: openai name: gpt-3.5-turbo config: openai_api_key: $OPENAI_API_KEY- name: chat endpoint_type: llm/v1/chat model: provider: openai name: gpt-4 config: openai_api_key: $OPENAI_API_KEY- name: chat_3.5..

LLM 서비스를 개발하다 보니 토큰 비용 문제로 캐시 서버를 운영해야하는 상황이 생겼다.사용자의 질의를 캐싱하는 기능이 있는데 Redis는 인메모리 DB 이므로 메모리를 많이 사용한다. 따라서 계속 메모리를 잡아먹기 때문에 주기적으로 지울 필요성이 있다고 생각했다. redis.conf 파일 다운 주소 : https://redis.io/topics/configconf 파일에 대한 설정은 다음의 블로그에 아주 친절하게 설명되어 있다. https://blog.naver.com/eastee/220081013385 docker-compose.ymlversion: '3.8'services: redis: image: redis:7.2.4 container_name: redis env_file: ..

회사에서 챗봇에 적용할 RAG를 도입하기 위해 벡터 DB 중에 Postgresql에 PGvector를 사용했다. 선임 분이 PG 벡터를 사용하자고 했는데 성능적으로 조사해야할 필요가 있어 보였다. 글을 이것저것 찾아보다가 흥미로운 블로그가 있어 정리를 해보았다. Comparing Vector Databases If you are a developer interested in AI, there is a good chance that you may have started working with Large Language Models such as… adamsblum.medium.com 1. 로드 시간 (3,680 개의 벡터 로드) 1) Pinecone: - 벡터 로딩 시간: 15.83 초 - 평균 로딩 시간..

도커 컨테이너 App을 스케쥴로 일정한 작업을 처리하고 싶을 때 두가지 방법이 있다. Host에서 도커 Cron을 설정하는 방법과 컨테이너 안에서 Cron을 설정하는 방법이다. 이번에는 컨테이너 안에서 Cron을 설정하는 방법을 알아보았다. 사전 준비 테스트를 위해 Dockerfile로 컨테이너를 실행하였다. Dockerfile # python library FROM python:3.9 # installing required packages RUN apt-get update && apt-get install -y \ gcc \ cron \ net-tools \ curl \ iputils-ping \ vim WORKDIR /home/cron-test # Copy cron file to the contain..