글고 클로드4 오푸스 맨 밑줄은 또 뭐냐? 라이브벤치가 왜 이렇게 됐지? 이게 정확한 평가가 맞냐?
[일반] 0605 맥스로 띵킹 땡겼는데 라이브벤치 점수 개판인거 실화냐?
양자장(qtamdc)
2025-06-08 06:24
추천 0
댓글 9
다른 게시글
-
구글이 어떻게 이리 빠르게 sota 땄을까[일반] Dippie(atom5687) | 25.06.08추천 3
-
로건 ais관련 인터뷰 한거 보니까 앱이 왜 구린지알겠네[일반] 익명(patient3723) | 25.06.08추천 3
-
와 ㅅㅂ 0605 신임 [3][일반] 익명(114.207) | 25.06.08추천 1
-
얀르쿤 ㅈㄴ신기하게 생겼네 [1][일반] 익명(station0609) | 25.06.08추천 0
-
[AI창작] 소설짜는 프롬프트 공유-> 업그레이드버전 하이브리드로 사용 [6][일반] 익명(58.234) | 25.06.08추천 3
-
다개국어가 사라지는게 참 아쉽다 [6][일반] 익명(station0609) | 25.06.08추천 1
-
제미나이 3.0 < titans기반임? [2][일반] 익명(114.207) | 25.06.08추천 0
-
근데 굳이 선형충하고 대화할 필요 없음 [2][일반] 익명(183.107) | 25.06.08추천 1
-
스타게이트는 이제 최초 2개동은 완공이지[일반] 익명(221.157) | 25.06.08추천 0
-
클로드코드 맥스 200달러 질렀다 [2][일반] 초존도초(htr3c654r6ft) | 25.06.08추천 0
이건 벤치에 문제가 있긴한듯
코딩이랑 if에서 이상할정도로 많이 점수 까먹네
오푸스 띵킹은 위에 있고 그냥 오푸스는 비추론 중에선 제일 높네
DeepSeek R1 (2025-05-28) 애가 이렇게나 점수 높았네
@양자장 사실상 0325 증류한거라 ㅋㅋ
@ㅇㅇ 사람들은 0325 얼마나 좋은지 잘 모르더라 ㅋㅋㅋ
라이브벤치는 병신임
라이브벤치 업데이트하고 신뢰성 없어졋음
Aider벤치랑 swe벤치가 체감상 잘 맞았음 aider는 aider 사용할때, swe는 에이전트 코딩할때