[FastAPI x Langchain] ChatGPT 응답 Streaming 구현
RAG 어플리케이션을 개발하면서 LLM에서 생성하는 텍스트를 스트리밍으로 한글자씩 나오도록 구현해보았다. 큐를 사용하여 글자를 순차적으로 전달하였고 Langchain의 BaseCallbackHandler 를 사용했다. BaseCallbackHandler에 대해서는 조금 더 공부가 필요한 듯 보인다. API class Question(BaseModel): question: str @router.post( path='/text-stream/', description="Enter the question" ) @inject async def generate_text_streaming( query: Question, rag_service: Rag_Service = Depends(Provide[Container.r..
Framework
2024. 3. 6. 16:13
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- FastAPI
- huggingface
- Ai
- 정보보안기사
- 코딩테스트
- linux
- 다이나믹프로그래밍
- 백준
- 카카오페이
- t-test
- 보안기사
- 자료구조
- 우선순위큐
- java
- 카카오페이면접후기
- 리눅스
- lightsail
- 파이썬
- 분산시스템
- Python
- springboot
- 시간초과
- synflooding
- 딥러닝
- 보안
- LangChain
- llm
- 프로그래머스
- 정보보안
- 그리디
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 |
글 보관함