Claude Opus 4 on ARC-AGI Semi Private Eval
— ARC Prize (@arcprize) May 28, 2025
Base
* ARC-AGI-1: 22.5%, $0.40/task
* ARC-AGI-2: 1.3%, $0.63/task
Thinking 16K
* ARC-AGI-1: 35.7%, $1.25/task
* ARC-AGI-2: 8.6%, $1.93/task
Opus 4 sets new SOTA (8.6%) on ARC-AGI-2 pic.twitter.com/ybsnd7lW0H
ARC-AGI-1에서는 SOTA 아닌데, 2에서 SOTA 나와서 흥미롭다는 듯
그리고 비추론이나 추론 토큰 낮을때 소넷 4보다 낮은 결과를 보여주는 것도 흥미로운 점
해당 댓글은 삭제되었습니다.
클로드 4는 전반적으로 좀 흥미로운 듯 각종 벤치 결과랑 실사용 평가랑 엄청 엇갈리기도 하잖음
올해 안에 25퍼 넘길 수 있으려나