GPT-5
High 74.9%
비추론 52.8%
500문제 중 23문제를 제외한 477문제로 테스트
클로드 소넷 4
72.7%
클로드 오퍼스 4.1
74.5%
둘 다 비추론에 500문제 전체 테스트
(여기서 extended thinking은 추론 키고 TTC 여부가 아니라 그냥 reasoning, thinking, 추론 말하는거임)
(소넷 4로 그린 그래프, 왼쪽부터 2번째랑 4번째가 가중치 적용임)
GPT-5에 23문제 빠진만큼 가중치(0.954) 적용했을때,
High 71.5%
비추론 50.4%
단, 23문제가 대강 중간 정도 난이도의 비슷한 문제들만 이라고 가정했을때고, 23문제에 어려운 문제랑 쉬운 문제가 몇 개 있는지는 모름
가중치까지 적용한 그래프를 보고 싶어서 만들었음
으악 가로축 늘려줘 ㅋㅋ
바이브그래프니까 좀 봐주십쇼
대강 sonnet4 급이구만 클로드를 넘지는 못한게 맞나보네
갤 평가도 보니까 기존 o3처럼 해결사로 사용은 가능한데, 클로드 대체는 못 한다더라