RNN->LSTM->Transformer 라는 일련의 흐름이 단기기억 효율성 향상을 목적으로 하는거 모르냐? 장기기억이 안되는것 뿐이지 단기기억은 당연히 되고, 이 단기기억은 단순히 과거 입력을 받는 수준이 아니라 과거의 은닉층 출력까지 다 가져옴. 이 방식이 장기기억으로 확장 불가능한 이유는 과거 n개를 기억하여 연산하는 시간복잡도가 n에 대해 선형이 아니기 때문.