기억을 못함. 정확히 말하면 학습 이후에 기억을 전혀 새로 읽거나 쓰지 못함.


기억을 못하는게 단순히 앞서 했던 말을 까먹거나 문맥파악에 에러가 나거나 이정도 차원의 문제가 아님. 기억이 없으면 아주 총체적으로 문제가 발생함.

감이 안올수도 있는데, 예를 들자면 "3초마다 단기기억이 삭제되는 단기기억 상실증 환자"를 생각해보면 됨.
51*34+45같이 단순한 사칙연산을 하려고 해도, 이런걸 하려면 계산과정을 여러개로 나누어서 앞서 한 계산을 기억해두고 다음 계산을 하는 과정이 필요한데, 이 사람은 그게 불가능해서 저런거 못함.
풀이 과정이 네줄만 넘어가는 수학 문제를 푸려고 해도, 이 사람에게는 "고민"이라는걸 할 시간이 주어지지 않음. 고민을 해봐야 그 내용이 바로바로 리셋되기 때문. 그래서 이것도 못함.

내가 보기에, 이건 단순히 파라미터 수 늘린다고 해결되는 문제는 아님. 파라미터 수 늘리면 능력 향상은 당연히 되지만 이건 위에서 보았듯이 엄청난 비효율임.
gpt3정도만 해도 단일 input-output 능력은 이미 인간보다 뛰어나다고 생각함.
gpt3가 아직 인간보다, 특히 수학 등에서 크게 딸리는 이유는 능력이 부족해서가 아니라, 기억을 할 수 없고, 나아가 "고민"이란거 자체를 할 수가 없기 때문이라고 봄.
이것을 극복하기 위해서는 은닉층 출력을 벡터로 기억에 저장해 두고, 그 기억을 다시 input으로 넣어서 활용하는게 필요함.

단, 가장 큰 문제는 학습임. 단순히 인터넷 데이터의 (input, output)=(이전 대화, 현재 대화) 쌍으로 학습을 시키는게 불가능함.
지도학습을 할 때 기억을 input에 넣으려먼 인터넷 사용자가 그 텍스트를 출력할 때 무슨 기억을 가지고 있었는지까지 알아야 하는데, 이건 당연히 불가능함. (설사 안다고 하더라도 신경망이 가진 기억과 호환 안됨)
그래서 기억하는 방법을 스스로 학습할, 무언가 새롭거나 혁신적인 방법이 필요하다고 봄.