Techbrad

아래의 doc을 참고하여 우선 GPU 서버가 없으므로 CPU에 작은 모델을 서빙 해보려고 한다. https://github.com/triton-inference-server/server GitHub - triton-inference-server/server: The Triton Inference Server provides an optimized cloud and edge inferencing solution. The Triton Inference Server provides an optimized cloud and edge inferencing solution. - GitHub - triton-inference-server/server: The Triton Inference Server provides..

이번에 코딩테스트를 치루며 메모리 관리에 대해서도 신경써야한다는 것을 알았다. N=1,000,000 문제를 풀었지만 계속 효율성 문제에 있어 통과하지 못했다 ㅜ.ㅜ 앞으로는 이러한 사항을 고려하면서 공부를 해야할 필요성을 매우 느꼈다. 아래의 표에 따르면 N이 백만 이였으니까 NlogN까지는 허용이 된다. 나는 그때 이중 for문을 사용하여 N2으로 풀었던 것 같다. 이제 앞으로 속도에 대해 생각하며 코딩을 해야겠다.

사용자의 쿼리에 대하여 토큰 비용을 줄일 수 있는 방법 중에 캐싱 기법을 적용해보았다. 물론 토큰 비용이 얼마 되지 않아 그냥 해도 되지만 응답 속도는 확연하게 체감이 될 정도로 빨랐다. 랭체인에서 제공하는 라이브러리를 사용하면 캐싱 구현은 정말 간단하다. from langchain.cache import RedisCache from langchain.globals import set_llm_cache set_llm_cache(RedisCache(redis_=Redis(host='redis', port=6379, db=1))) response = rag_chain_with_source.invoke(text.question) 질문을 할때 마다 Key가 생성이 되었다. Key는 Hash로 이루어 져있는데 어..

FastAPI + Sqlalchemy를 사용하여 개발하던 중 insert 실패 후 다른 데이터를 insert를 할때 아래 와 같은 애러가 발생하였다. sqlalchemy.exc.PendingRollbackError: This Session's transaction has been rolled back due to a previous exception during flush. To begin a new transaction with this Session, first issue Session.rollback(). Original exception was: (psycopg2.errors.UniqueViolation) duplicate key value violates unique constraint 위의 애..