Techbrad

LLM 서비스를 개발하다 보니 토큰 비용 문제로 캐시 서버를 운영해야하는 상황이 생겼다.사용자의 질의를 캐싱하는 기능이 있는데 Redis는 인메모리 DB 이므로 메모리를 많이 사용한다. 따라서 계속 메모리를 잡아먹기 때문에 주기적으로 지울 필요성이 있다고 생각했다. redis.conf 파일 다운 주소 : https://redis.io/topics/configconf 파일에 대한 설정은 다음의 블로그에 아주 친절하게 설명되어 있다. https://blog.naver.com/eastee/220081013385 docker-compose.ymlversion: '3.8'services: redis: image: redis:7.2.4 container_name: redis env_file: ..

회사에서 챗봇에 적용할 RAG를 도입하기 위해 벡터 DB 중에 Postgresql에 PGvector를 사용했다. 선임 분이 PG 벡터를 사용하자고 했는데 성능적으로 조사해야할 필요가 있어 보였다. 글을 이것저것 찾아보다가 흥미로운 블로그가 있어 정리를 해보았다. Comparing Vector Databases If you are a developer interested in AI, there is a good chance that you may have started working with Large Language Models such as… adamsblum.medium.com 1. 로드 시간 (3,680 개의 벡터 로드) 1) Pinecone: - 벡터 로딩 시간: 15.83 초 - 평균 로딩 시간..

mongodb에 데이터를 입력하면 _id 외에 다른 key의 중복 값을 제거해야할 필요가 있다. 의료 상담 데이터를 크롤링하는 과정에서 중복된 document가 발생하여 중복 값을 제거 하는 것을 찾아보았다. 하지만 어느 버전 이상부터 중복 값을 제거하는 기능이 없어져서 새로운 collection을 만든 후 유니크한 데이터를 옮기는 방법을 선택했다. hidoc 컬랙션 수 (중복값이 있는 컬랙션) hidoc 컬랙션 유니크 값 (counselAnswerCid 키를 기준) temp 컬랙션을 생성 (counselAnswerCid를 유니크 키로 지정) hidoc의 컬랙션을 전부 temp로 옮김 temp 카운트 확인 기존의 hidoc 컬랙션을 지우고 컬랙션 이름 변경

스칼라 쿼리는 한번에 1행씩 반환. 값이 없을 때는 Null을 반환한다. 동작 원리 1. 메인쿼리 수행 후 반환된 한줄의 값을 출력값으로 메모리에 적재한다. 2. 출력값을 스칼라쿼리에 입력하여 나온 결과를 매모리 내의 query execution cache에 해시화하여 저장한다. 3. 메인쿼리에 반환된 다음줄의 출력값이 서브쿼리로 들어오면 해시한수를 이용해 캐시에서 찾아 출력한다. 4. 캐시에 없으면 다시 서브쿼리의 테이블로 가서 데이터를 찾아 query execution cache에 저장한다. 5. 메인 쿼리가 끝날때 까지 반복한다. 스칼라쿼리 1. 스칼라쿼리는 조인되는 컬럼이 유니크할때만 가능하다. Select emp.uid, emp.uname, (select dname from dept where ..