[📪정보] 오늘 개정된 full o1 코딩관련 벤치마크 모음

[익명(121.178)]

1. 에이전트 평가

이상하게 점수가 폭락함

2. SWE-bench Verified (OAI 자체 개선 벤치마크)

o1-preview와 동일함

3. MLE-bench (캐글 데이터분석 벤치마크, OAI 자체 개발 벤치마크)

역시 o1-preview가 더 좋은 성과

4. METR 에이전트 평가

그냥 쓰면 o1-preview랑 비슷한 점수고,

특정 에이전트 설정을 해주면 꽤 좋은 성과

5. OpenAI 리서치 엔지니어 인터뷰 벤치마크

o1-preview 보다 점수 낮아짐

오늘 개정된 o1 시스템 카드에서 가져옴

[익명(spoiler6984)]

점수 안나오는 이유가 있을 것 같은데 좀 기다려봐야될듯?

[익명(14.6)]

개씹아갈털드만 물로켓 ㅅㄱ

[익명(clay1779)]

冬だ。。。 - dc App

[이세이미야케(jkwarawara)]

그냥 추론모델 자체가 코딩이 별로인가?

[익명(spoiler6984)]

o1은 코딩 스코어 높던데 이상하네

[익명(119.197)]

털드만 네이놈

[abc(220.126)]

o1 자체가 시원찮은게 아닌 이전 버전인 프리뷰보다 딸리는거면 뭔가 오류같은거 아님? - dc App

[익명(121.178)]

얘네들이 직접 올린 시스템 카드인데 오류가 있는걸 올렸을 것 같진 않긴함 딱히 점수 떨어진거에 대한 설명도 없음. 몇 몇 부분에서 사후조정같은거 하면 더 나아질 수도 있다 이렇게 써놓은거 빼고는

[익명(googlegay5)]

무료로 풀었으니까 성능 좀 낮췄겠지 예전에 4o 나올때도 also good gpt2 보다 성능 별로였음 - dc App