해당 댓글은 삭제되었습니다.
Sliding window 적용해. 대부분의 API는 지원함퍄ub
그게 모임?? 검색해봐야겠다
유저 쿼리 + 챗 내역 토큰 수가 최대 컨텍스트에 도달하면 LLM은 응답을 안해. 그럴때 오래됀 챗부터 읽어들이지 않고 컨텍스트 크기를 조절하는 기능임. 보통 API 제공하는 회사 Doc 찾아보면 있음.
RisuAi로 ㄱㄱ - dc App
해당 댓글은 삭제되었습니다.
해당 댓글은 삭제되었습니다.
Sliding window 적용해. 대부분의 API는 지원함퍄ub
그게 모임?? 검색해봐야겠다
유저 쿼리 + 챗 내역 토큰 수가 최대 컨텍스트에 도달하면 LLM은 응답을 안해. 그럴때 오래됀 챗부터 읽어들이지 않고 컨텍스트 크기를 조절하는 기능임. 보통 API 제공하는 회사 Doc 찾아보면 있음.
RisuAi로 ㄱㄱ - dc App