24b0d121e09c28a8699fe8b115ef046c69f72c4b9b




24b0d121e09c28a8699fe8b115ef0464d08ae0c1eb



24b0d121e09c28a8699fe8b115ef046547a2fd3bf1



24b0d121e09c28a8699fe8b115ef046ec24dc3f722





https://www.textquests.ai/

TextQuestsTextQuestswww.textquests.ai


https://arxiv.org/abs/2507.23701





텍스트 기반 비디오 게임에서 LLM은 얼마나 좋은가요?


까다로운 탐색 환경에서 AI 에이전트를 더 정확하게 평가하기 위해, 저희는 인포콤(Infocom)사의 인터랙티브 픽션 게임 시리즈를 기반으로 한 벤치마크, TextQuests를 소개합니다. 사람이 플레이할 경우 30시간 이상 걸리고 수백 개의 정교한 행동을 요구하는 이 텍스트 기반 어드벤처 게임들은, 집중적이고 상태(stateful)를 기억해야 하는 과제에 대한 AI 에이전트 평가에 효과적인 대리 지표 역할을 합니다. 이 벤치마크는 외부 도구 사용을 배제하여 LLM 에이전트의 자립적인 문제 해결 능력을 평가하도록 특별히 설계되었습니다. 이를 통해, 단일 인터랙티브 세션 내에서 시행착오 학습과 지속적인 문제 해결이 필요한 탐색 환경에서의 내재적인 장기 컨텍스트(long-context) 추론 능력에 초점을 맞춥니다.

TextQuests는 인포콤(Infocom)사가 개발한 다양한 난이도의 고전 인터랙티브 픽션 게임 25개로 구성되어 있습니다. 이 게임들은 1980년대 최고의 텍스트 기반 어드벤처 게임으로, 플레이어들이 자연어 명령을 사용해 풍부한 스토리의 세계와 상호작용하도록 했습니다.

TextQuests에 포함된 다양한 추론 과제를 보여주는 예시:


24b0d121e09c28a8699fe8b115ef046c68f7214d99ec







순위표




24b0d121e09c28a8699fe8b115ef046a7b69e2ca