[일반] 제미나이 SWE-bench verified 고점 뚫기 쉽지 않은 이유

[익명(compact5711)]

위가 2.5 프로, 아래가 2.5 플래시

지금 성적이 뜌따이라서 수직발전해도 클로드 4랑 만난다는거임

GPT-5는 o3 69%, Codex-1 72%를 거쳐 74.9%에 도달했음

[203847년걸리겠죠(awful6856)]

코딩좀 신경써줬으면

[익명(compact5711)]

분명히 코딩 특화 모델 이야기도 했던거 같은데 스킵했네 그냥 2.5 메인이랑 머지한거 같기도 하고

[익명(211.206)]

1%만 올려도 개발할떄 성능차이가 심한데 20% 차이면 쓰면 코드 개병신된다는거

[익명(compact5711)]

벤치들이 후반으로 갈수록 1~2% 차이가 어려운 문제 푸냐 마냐로 결정되서 올리기 어렵고 체감도 크지