[📪정보] 구글에서 재밌는 벤치마크 고안한듯

[aa(film3201)]

기존 qna식 벤치마크의 한계를 언급하면서 포커같은 게임 기반 아레나로 ai 성능측정한대

하사비스는 진짜 게임 좋아하는듯

https://x.com/i/status/2018385757816181178

The AI field is in need of harder benchmarks to test capabilities of the latest AI models. This update to @Kaggle Game Arena with werewolf and poker (heads-up) plus chess, gives us new objective measures of real-world skills like planning and decision making under uncertainty. https://t.co/NmXerpHodU

— Demis Hassabis (@demishassabis) February 2, 2026

AI 분야는 최신 AI 모델들의 역량을 시험할 더 어려운 벤치마크가 필요하다. 이번 Kaggle Game Arena 업데이트에서는 웨어울프와 헤즈업 포커, 그리고 체스를 추가해 계획 수립이나 불확실성 하에서의 의사결정 같은 현실 세계의 능력을 객관적으로 측정할 수 있게 했다.

기존의 Q&A 형식 벤치마크들은 결국 모델 성능이 좋아지면 포화에 이르게 되지만, 이런 테스트들은 모델이 강해질수록 자동으로 더 어려워진다는 특징이 있다. AGI로 가는 진전을 측정할 수 있는 검증 가능한 방법들이 생겼다는 점에서 의미가 크다.

목표는 지능의 다양한 측면을 포괄하는 수백 개의 게임을 추가하고, 이를 하나의 종합 리더보드로 관리하는 것이다.