[일반] 챗지피티는 어떻게 이전 대화 내용을 기억하는거임?

[ㅇㅇㅇㅇ(117.111)]

트랜스포머 구조상 이전 토큰들을 입력으로 넣어서 다음 단어를 예측하는 것인데 단순히 위의 과정을 거쳤다고 해서 그게 기억한다라고 말하기가 애매하다고 생각하거든. 어떻게 기억하는 것임?

또 이전 몇 개의 토큰을 기억하는 것인지 이전 몇 개의 대화 내용을 기억하는 것인지도 궁금함

[troublecoder(troublecoder)]

그냥 추가질의할때 이전 대화내용들 붙여서 입력에 넣거나 아님 요약해서 입력에 추가해서 보내는거 아님? - dc App

[익명(121.175)]

중요한 부분인듯. 위 댓글처럼 기억하는게 아니라 그냥 입력에 계속추가하는거라면 대화가 길어지면 이전에 처리했던 작업들은 계속 반복처리하는 비효율이 계속 늘어나겠네. 근데, 이전 대화 내용을 기억하는건 확실한거임? 테스트 해봄?

[익명(106.101)]

transformer xl 이나 compressor 논문같은걸 보셈. 두개가 가장 간단한 방법으로 이전에 인퍼런스때 사용한 키밸류 같은 메모리를 층별로, 헤드별로 다 저장해서 끌어다 쓰는데 그걸 아예 나이브하게 다 가지고있으면 tfxl 이고 압축해서 갖고 있으면 compressor 같은거임. 챗지피티한테 llm들 롱텀 메모리 어떻게 갖다 쓰냐 물어보던가

[익명(221.157)]

그냥 토큰 꽉채운게 기억력 한계임 ㅋㅋ