[Langchain] 쿼리에 Redis 캐싱을 적용하기
사용자의 쿼리에 대하여 토큰 비용을 줄일 수 있는 방법 중에 캐싱 기법을 적용해보았다. 물론 토큰 비용이 얼마 되지 않아 그냥 해도 되지만 응답 속도는 확연하게 체감이 될 정도로 빨랐다. 랭체인에서 제공하는 라이브러리를 사용하면 캐싱 구현은 정말 간단하다. from langchain.cache import RedisCache from langchain.globals import set_llm_cache set_llm_cache(RedisCache(redis_=Redis(host='redis', port=6379, db=1))) response = rag_chain_with_source.invoke(text.question) 질문을 할때 마다 Key가 생성이 되었다. Key는 Hash로 이루어 져있는데 어..
Framework
2024. 3. 19. 11:26
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- 리눅스
- lightsail
- 카카오페이면접후기
- 카카오페이
- Ai
- t-test
- 정보보안
- FastAPI
- t검정
- 그리디
- 우선순위큐
- springboot
- 보안
- Python
- 딥러닝
- 파이썬
- java
- llm
- 프로그래머스
- 백준
- LangChain
- 분산시스템
- 코딩테스트
- 다이나믹프로그래밍
- 정보보안기사
- linux
- 자료구조
- synflooding
- 시간초과
- 보안기사
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
글 보관함