기억을 저장하는 능력만 보면 이미 현재 언어모델도 뛰어남. 예를 들어 gpt3같은건 인간 그 누구여도 불가능할 정도로 전 분야에서 매우 방대한 상식을 가지고 있음. 다만 현재로서는 학습을 끝낸 후에 대화하면서 만들어지는 정보를 파라미터에 새로 기억하는게 어렵다는 점이 가장 큰 문제임.
새로운 정보를 실시간으로 파라미터에 녹이는 방법이 개발되지 않았기 때문에 어텐션 방식으로 단기기억만 가능한 것임. 반대로 말해 새로운 정보를 실시간으로 파라미터에 녹이는 방법만 개발되면 장기기억 문제는 생각보다 싱겁게 끝날 수도 있음.