예를 들어 일상적인 대화나 선형적인 소설 같은데에 쓴다고 하면

특정 단어 하나하나를 완벽히 기억할 필요가 없으니 과거 컨텍스트가 많이 손실되는 rnn이 좋음

엄청나게 긴 컨텍스트도 비용 증가 없이 연속적으로 느껴지게 쓸 수 있으니까

근데 코딩에 쓴다고 하면 지금처럼 정해진 컨텍스트에 컨텍스트 엔지니어링 하는게 더 효과적일 것 같음

rnn 구조에 컨텍스트 엔지니어링을 해서 쓰면 더더 효과적이려나?

뭐 실제 성능은 언제나 대규모 모델에 적용돼서 벤치 돌려보기 전까지 모르는거긴 해