[일반] 구글념글 저거 토큰말하는거 아님?

[ㅇㅋ(ijh2005)]

? 어텐션레이어에서 빅테크 언어모델중에 평균적으로 바닐라가 저단위로 받는거 오픈ai에선 컨텍스트윈도우 라고 말하는 소위 기억토큰 크기아님?  10m이면 천만 말하는거아냐?

[gpt교주(pomcro)]

ㄴㄴ 토큰이랑 다른 개념이고 RAG 개념인데 여기서 분리 시켜서 캐싱하고 메모리 관리 느낌인듯 - dc App