이미 말했지만 앞서 말한 내용을 기억한다거나 그런게 전혀 아님.

보다 근본적으로 말하자면, 한개의 대답을 내놓기 위해 신경망을 얼마나 재활용할 수 있는가임.
현재의 gpt3는 한개의 대답을 내놓기 위해 단 한번만 신경망을 돌리지만,
이상적인 경우라면 한개의 대답을 내놓기 위해 10000번은 신경망을 돌릴 수 있어야됨.

단적으로, 알파고도 MCTS 없이 단일 신경망만 쓰면 인간 최고수 못이김.
한 수 한 수 놓을 때마다 MCTS로 수천 수만번씩 신경망을 돌리니까 그정도 기력이 나올수 있음.

그러나 텍스트 환경 등 대부분의 경우에서는, 바둑과 달리 MCTS를 신경망에 결합하는 방식으로 신경망을 재활용할 수 없음.
따라서 신경망의 (은닉층) output이 다시 input과 순환적으로 연결될 수 있는 단기 기억 구조가 반드시 필요하다고 생각됨.