일단은 얘도 Knowledge Base를 쓰고 있긴 한거 같지만
아무튼 장기기억땜에 발목잡히는 부분은 있는거 같은데
아무래도 게임플레이 하려면 프롬프트가 미친듯이 생기고 사라지고 하니까
최대 컨텍스트 윈도우를 삼분할해서 단기/중기/장기 프롬프트로 계층화만 하고
지금 플레이할때 마구마구 지나가는 생각들 같은건 단기에 놔두더라도 (즉 길이제한 오버되면 바로바로 사라지는 증발성 사고들)
좀 중요하고 기억해둘만한 것들을 스스로 판단해서 중기->장기 프롬프트로 따로 메모,정리,요약,갱신/삭제 하는 작업을 학습할때 같이 훈련시키면
그래도 조금은 장기기억능력을 구현할 수 있지 않나 싶은 생각이 들었음
그걸 고도화 한게 구글의 titan 논문
그냥 특별히 아키텍쳐 수정하거나 새로운 학습 알고리즘 고민할 것 없이 간단한 프롬프트 엔지니어링만으로도 장기기억능력을 조금이나마 확보할 수 있지 않을까 싶어서 말해봄
인간도 그냥 생각없이 하는 행동이 대부분이잖아