현 AI모델들은 실시간 지속학습을 안하기 때문에 기억력이라고 할만한게 없음
예를 들어 모델과 토론을 하며 문답을 100번 주고 받았고 내가 101번째 질문을 하면
모델은 101번째 답변을 위해 과거의 모든 100개 문답을 다시 읽고 답해야함
다른 예를 들어 긴 문서를 업로드하고 질문하면 모델은 매 답변마다 문서를 통째로 다시 읽어야됨
이 방식은 컨텍스트가 길어질수록 많은 연산을 소모하고 비효율적임
하지만 컨텍스트 캐싱(Context caching)을 이용하면 한번 읽은 컨텍스트를 다시 읽을 필요가 없음
어떻게 보면 영구적인 단기기억이라고 볼수 있을듯
물론 컨텍스트를 처음 저장하고 유지하는데 비용이 들고 아직은 약간 비싸보임
그래도 근미래엔 컨텍스트 한계는 별 문제가 아니게 될거란 생각이 듬
글만 보면 GPT 3.5~4 초기에 다빈치로 지난 컨텍스트 요약하면서 토큰 아끼던 거랑 뭔 차이인지 모르겠음
그건 인공지능이 전체 맥락을 요약해서 토큰을 아끼는 방식으로 장기기억 화 하는거 였고 이건 전혀다른 메커니즘가틍ㄴ데
구글에서 어떤 방식으로 구현했는지는 알수 없지만 컨텍스트 캐싱은 어텐션을 거의 그대로 유지할거임 컨텍스트 요약과는 질적으로 비교가 안됨
ㅇㅇ 내말이 이거임 222.120 너가 말하는 것과 전혀 다른거임