[일반] llm 아웃풋 컨텍스트 늘어나는 기술은 없음?

[익명(106.248)]

인풋은 20만, 실험적으로 1백만도 가능한데

아웃풋은 무슨 4천, 8천따리네 

[익명(172.226)]

LLM의 context size는 입력과 출력의 합입니다. 그럼에도 출력에 제한을 두는 이유는 2가지가 있습니다. 출력은 입력에 비해 자원이 많이 소모되고 오래 지속됩니다. 그만큼 자원을 선점한 상태이므로 빨리 다음 일을 처리하기 위해 짧게 출력하는 것을 선호합니다. 비즈니스 모델로써 출력을 짧게 설정하면 긴 출력을 만들기 위해 여러번 호출하게 됩니다.

[익명(172.226)]

그러면 이전 출력이 다음 입력에 포함되므로 더 많은 비용을 지출하게 할 수 있습니다. (프롬프트 + 이전 출력1 + 이전출력2) * 입력비용 + 현재출력 * 출력비용

[익명(110.145)]

돈 때문이지 제한이 있어서 그런거 아님 전체 컨텍스트에서 아웃풋 정할수 있음 로컬 써보면 알거야

[익명(106.248)]

로컬이 더 늘긴하는데 이것도 좀 아쉬워서

[익명(61.73)]

알트만은 제한 없는 거 쓰는데