- 모델 구조가 매우 큰 context window를 가지면 장기기억이 해결되나?

-> 실제로는 학습 데이터가 "장기기억을 가져야만 풀 수 있는 문제" 를 포함해야 장기기억 능력이 생김


- 모델이 높은 검색 능력을 가지면 장기기억 능력을 대체할수 있나?

-> 모델이 어떻게 검색해야 과거 데이터를 가져올 수 있는지 '대략적인' 성능은 높힐수 있지만 과거 데이터를 기억하고 있다고는 말할 수 없음. 구글링 잘한다고 구글에 있는 지식을 다 안다고 말할순 없으니까


- 무한한 길이의 입력이 가능한 모델구조(rnn, lstm 등) 라면 장기기억 능력을 가지나?

-> 실제로 장기기억이 필요한 벤치마크를 뚫는 경우가 생기지만, 사실 해당 벤치마크 데이터에 미세조정 학습(finetune) 한다면 트랜스포머 구조로도 뚫는 경우가 많음.


아직 좀 실마리가 없어서 애매할듯