[일반] llm답변 gpu 아끼는법

[익명(114.29)]

어차피 중복질문 존나 많을텐데 중복많은건 데이터 모아서 걍 거기서 긁어오게 하는게 싸지 않나 싶음. 

굳이 매번 새로 할 이유가 없잖아

그럼 gpu아끼고 좋지않나

[익명(116.126)]

그걸 검색이라고 하는거 아닌가

[익명(114.29)]

아무도 그걸 모아놓진 않잖아. 검색보단 지식인에 가깝지

[버리는캐(anjehoon)]

첫번째 질문이라면 캐싱처리해두는게 가능할듯 근데 개인화설정이라던지 기존 질문과 답변의 맥락을 따라서 답변하니깐 얼마 못아낄듯?

[익명(114.29)]

내가써보니까 생각보다 걍 구글대용이 많음. 치킨데울때 몇분돌려야 되냐 같은거. 근데 이걸 매번 검색돌리고 gpu쓰느니 걍 db에서 가져오는게 낫지 않나 싶음

[ㅇㅇ 1(211.54)]

그걸 토큰 캐싱이라고 이미 하고 있다

[익명(114.29)]

매번 인터넷 존나 뒤지던데

[ㅇㅇ 1(211.54)]

@ㅇㅇ(114.29) 최신 정보가 필요하다고 판단했나보지

[익명(114.29)]

치킨 데우는게...