[FastAPI x Langchain] ChatGPT 응답 Streaming 구현
RAG 어플리케이션을 개발하면서 LLM에서 생성하는 텍스트를 스트리밍으로 한글자씩 나오도록 구현해보았다. 큐를 사용하여 글자를 순차적으로 전달하였고 Langchain의 BaseCallbackHandler 를 사용했다. BaseCallbackHandler에 대해서는 조금 더 공부가 필요한 듯 보인다. API class Question(BaseModel): question: str @router.post( path='/text-stream/', description="Enter the question" ) @inject async def generate_text_streaming( query: Question, rag_service: Rag_Service = Depends(Provide[Container.r..
Framework
2024. 3. 6. 16:13
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- 시간초과
- FastAPI
- 보안
- java
- Ai
- 분산시스템
- 정보보안
- t-test
- 파이썬
- 프로그래머스
- linux
- 카카오페이
- lightsail
- t검정
- 그리디
- 딥러닝
- 우선순위큐
- 백준
- Python
- 코딩테스트
- 다이나믹프로그래밍
- llm
- synflooding
- 보안기사
- 카카오페이면접후기
- LangChain
- 자료구조
- 리눅스
- springboot
- 정보보안기사
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 |
글 보관함