좀 찾아봣는데 이런 글이 있네

https://www.lesswrong.com/posts/7mqp8uRnnPdbBzJZE/is-gemini-now-better-than-claude-at-pokemon

Is Gemini now better than Claude at Pokémon? — LessWrongBackground: With the release of Claude 3.7 Sonnet, Anthropic promoted a new benchmark: beating Pokémon. Now, Google claims Gemini 2.5 Pro has substan…www.lesswrong.com


클로드 제미나이 둘 다 llm에 에이전트 하네스라는 도구를 사용하고 있고

에이전트에는 대략 다음과 같은 기능이 있음

게임 플레이 접근 방식에 대한 실질적인 조언이 담긴 시스템 프롬프트(system prompt) 제공
추가 정보가 겹쳐진 게임 스크린샷 접근 권한 제공
게임 RAM의 주요 정보 접근 권한 제공
계획 목적으로 텍스트를 저장하는 능력 제공
텍스트를 에뮬레이터의 버튼 누름으로 변환하는 도구 접근 권한 제공
경로 탐색(pathfinding) 도구 접근 권한 제공
맥락(context)이 가끔 자동으로 정리되고 요약됨
두 번째 모델 인스턴스("비평가 클로드(Critic Claude)" 및 "가이드 제미나이(Guide Gemini)")가 때때로 비평하며, 주 모델을 일반적인 실패 모드에서 벗어나도록 설계된 시스템 프롬프트를 가짐

클로드와 제미나이가 사용하는 하네스는 상당히 다르며 구현방식에서 차이가 있고 제미나이 쪽 하네스가 시각정보를 잘 처리하지 못하는 llm을 위해 텍스트 라벨링 등이 상세하게 되어있고 제미나이의 스트리머는 하네스를 계속해서 실시간 업데이트 해주고 있다고 하는덧

둘 다 하네스 없이는 레드의 침실도 빠져나가기 힘들어 한다고 하는걸로봐서 llm 자체적인 성능보다 어떤 하네스를 붙여주냐가 중요할 수 있다고하네

밑에는 젬황 요약본

요약 (Summary)
이 LessWrong 게시물은 구글의 제미나이 2.5 프로와 앤트로픽의 클로드 3.7 소네트가 포켓몬 게임(각각 블루, 레드 버전)을 플레이하는 능력을 비교하는 것에 대한 회의적인 분석을 제공합니다. 표면적으로 제미나이가 클로드보다 훨씬 적은 행동(노력)으로 게임에서 더 멀리 진행한 것처럼 보이지만, 저자는 이러한 비교가 오해의 소지가 있다고 주장합니다.
주요 이유는 두 모델이 **"에이전트 하네스(agent harness)"**라고 불리는 매우 다른 지원 시스템(스캐폴딩) 하에서 작동하기 때문입니다. 이 하네스는 모델에게 시스템 프롬프트, 게임 화면에 대한 추가 텍스트 정보, RAM 데이터 접근, 경로 탐색 도구 등 다양한 형태의 도움을 제공합니다.
하네스 차이: 제미나이의 하네스는 더 상세한 텍스트 레이블과 텍스트 기반 미니맵을 제공하여 시각 정보 처리에 어려움을 겪는 LLM에게 상당한 이점을 줄 수 있습니다. 반면 클로드의 하네스는 다른 방식의 경로 탐색 도구를 가지고 있습니다. 두 하네스는 독립적으로 개발되었고 세부 사항이 공개되지 않아 직접 비교가 어렵습니다.
개발자 입장: GeminiPlaysPokemon 스트림을 운영하는 개발자(Joel Z)는 구글과 무관하며, 자신의 스트림이 엄격한 벤치마크가 아니며 하네스를 적극적으로 개발/수정하고 있다고 명확히 밝혔습니다. 그는 제미나이의 성공이 모델 자체보다는 더 나은 프레임워크(하네스) 덕분일 수 있다고 제안합니다.
본질적 한계: 두 모델 모두 정교한 하네스 없이는 길을 잃거나 혼란스러워하는 등 기본적인 게임 진행에 어려움을 겪습니다. 저자는 LLM이 과도한 외부 지원 없이 스스로 게임을 플레이할 수 있을 때까지 포켓몬 벤치마크의 유효성에 회의적입니다.
결론: 현재 진행 중인 제미나이와 클로드의 포켓몬 플레이 스트림은 서로 다른 조건과 지원 시스템 하에서 실행되기 때문에 어느 모델이 포켓몬 플레이에 더 우수한지에 대한 직접적인 비교나 결론을 내릴 수 없습니다. 이는 모델 자체의 능력보다는 사용된 '하네스'의 차이를 더 많이 반영할 수 있습니다.