[📪정보] GPT 5는 비교할 수 있는 모든 벤치에서 딥띵크한테 발림

[익명(180.66)]

비교할 수 있는 벤치는 AIME, HLE, IMO인데 3개 전부 발렸음

누가 보기 쉽게 딥띵크, GPT 5, GPT 5 프로까지 그래프로 정리한 게 있는데(벤치 표기 오류 있는 부분들이 있어서 오류 있는 부분들은 불편해서 짤랐음) 

보면 알겠지만 AIME, HLE에서 GPT 5 뿐만 아니라 GPT 5 프로도 발렸음

더욱 압도적인 차이를 알 수 있는 게 IMO에서의 차이인데 

GPT 5는 best of 32로 측정을 했는데도 38.10%에 그쳤는데 

딥띵크는 best of 32에 비해 훨씬 불리한 pass@1으로 60.7%를 달성했음

딥띵크가 250달러의 울트라 요금제에서도 5번밖에 못 쓰는 모델이라 특갤에서 민심이 그리 좋진 않지만 

벤치는 조온나게 잘 나온 모델임

[ㅇㅇ 1(218.52)]

lm아레나는 지들만 아는 특정기믹을 심어놓으면 votes수 조작이 아주 간편함 그건 보는거아님

[익명(missing1916)]

이건 유저가 투표하는게 아니라 오프라인 인간 채점자가 평가하는거임

[한가운데(centerofworld)]

lm아레나가 여기 어딧노...

[익명(normally1100)]

https://m.dcinside.com/board/thesingularity/782877

[ㅇㅇ 6(39.113)]

얜 혼자 뭐라냐 ㅋㅋ 그거 말하고 싶은데 참아야겠노

[특특이(ehdehddlfks)]

[특특이(ehdehddlfks)]

진짜 월5회라도 좋으니 gpt도 이런거 내야한다고 생각한다 ㅇㅇ

[기도문(newzerg2)]

Gemini 2.5 PRO가 o3보다 가성비 좋아서 좋은 모델이라고 칭찬해놓고 왜 이제와서 비용무시하고 딥띵크 단 Gemini랑 기본 gpt5모델이랑 비교하냐 공정하게 해라

[익명(180.66)]

ㅂㅅ아 똑같이 병렬 추론을 쓰는 GPT 5 프로도 그래프에 있는 거 안 보이냐?

[기도문(newzerg2)]

딥싱크랑 병렬추론이 왜 같은거임?

[ㅇㅇ 3(121.132)]

@ㅇㅇ(180.66) gpt-5 프로는 거의 무제한인데 구글이 아무리 컴퓨팅이 부족하기로 oai보다 부족하겠냐 그냥 비용 소모가 비교가 안 되는 거지

[ㅇㅇ 2(114.70)]

o3 가격 인하하고는 가성비도 o3가 좋긴함 ㅋㅋ

[익명(180.66)]

@ㅇㅇ3(121.132) 비용은 딥띵크가 훨씬 나가겠지 ㅇㅇ 근데 벤치 고점 비교하면 딥띵크가 더 높은 게 사실이니까 병렬 추론을 쓴다는 것도 같고

[기도문(newzerg2)]

@ㅇㅇ(180.66) 아니 말을 잘못했는데 병렬추론 방식만 동일하지 ttc가 다른건 왜 고려안하는데 비용쓰면 당연히 성능 더 나오겠지

[익명(180.66)]

@기도문 딥띵크랑 GPT 5 프로 둘 다 병렬 추론 방식이고 둘 다 최고점 모델이다 ㅂㅅ아

[ㅇㅇ 3(121.132)]

@ㅇㅇ(180.66) 그니까 같은 방식을 쓰면 컴퓨팅 비용이 비교가 안 될 정도라도 동일선상에서 비교해야 한다는 것이 님 주장 맞죠?

[기도문(newzerg2)]

@ㅇㅇ(180.66) 프로 사용자들한테 5번밖에 못쓰게하는거랑 프로 사용자들한테 무제한으로 푸는게 어떻게 똑같은 모델로 칠수있냐고 병신아

[익명(180.66)]

@기도문 애초에 oai 벤치 최고점 모델이 GPT 5 프로고 구글 벤치 최고점 모델이 딥띵크임 당연히 비용은 딥띵크가 훨 많이 나가겠지 근데 벤치 고점을 비교하면 딥띵크가 더 높다고

[기도문(newzerg2)]

@ㅇㅇ(180.66) 아니 그러면 다시 처음 내말대로 돌아가서 Gemini 2.5 PRO가 o3보다 가성비 좋다고 빨때는 언제고 왜 이제와서 고점 따지고있냐고

[익명(180.66)]

@ㅇㅇ3(121.132) 둘 다 같은 방식에 벤치 최고점 모델이라 비교한 거고 벤치 고점은 딥띵크가 맞다는 게 내가 말하고 싶은 부분인 건데

[기도문(newzerg2)]

@ㅇㅇ(180.66) 비교할거면 동일한 타겟 모델 가지고 비교를 해야지 무슨 당연히 ttc 더쓰고 리소스 더쓴 모델이 고점 높은건 당연한거아닌가?? 이걸 이해하는게 어렵다고?

[익명(180.66)]

@기도문 난 애초에 2.5 프로를 가성비 좋다고 빤 적이 없어 저기 코스트만 봐도 GPT 5 가 2.5 프로보다 가성비 좋아 ais 쓰는 사람들이 가성비 좋다고 빨겠지

[익명(180.66)]

@기도문 현재 상용화된 모델 중에서 비교를 한 건데 도대체 너는 무슨 말을 하고 싶은 거임? 딥띵크는 비용이 너무 많이 나가는 모델이니 논외로 쳐야 한다?

[기도문(newzerg2)]

@ㅇㅇ(180.66) 니가 쓴 제목은 "gpt 4o는 비교할 수 있는 모든 벤치에서 gemini 2.5한테 발림" 이라고 쓴거나 마찬가지야 OAI에서 GEMINI 2.5 딥띵크에 해당하는 TTC모델을 공개하지도 않았는데 같은 비교선상에 놓는게 맞냐는거지

[익명(180.66)]

@기도문 둘 다 똑같은 추론이고, 병렬 추론까지 사용한 벤치 최고점 모델인 프로까지 넣었음 비추론 vs 추론이랑은 전혀 다르지 뭐 공정하지 않은 비교일 수 있다는 거엔 동의를 하는데현재까지 벤치 고점은 딥띵크가 맞다는 거임GPT 5가 벤치에서 압도적인 1등이라고 말하는 사람들이 있어서 그거 보고 긁혀서 이 글을 적은 거고

[익명(180.66)]

@기도문 글고 애초에 벤치 고점을 따지는 글인데 왜 비용을 고려하는 것이며 2.5 프로 가성비 드립은 나한테 왜 치는 거임?

[익명(180.66)]

OAI를 많이 좋아하고 구글빠들 때문에 구글 싫어하심? 나는 그냥 벤치 고점을 따진 글을 썼을 뿐이며 반대 상황이었어도 똑같이 글을 썼을 거임 상용화된 모델 중에서 벤치는 딥띵크가 1짱 맞다면서

[기도문(newzerg2)]

@기도문 ㅇㅇ 나도 딥띵크가 벤치로 SOTA인줄은 몰랐으니까 니 글 취지에는 동의하는데 동일한 모델로 비교하지 않은게 긁혀서 댓글쓴거임

[익명(180.66)]

@기도문 GPT 5 프로면 그래도 똑같은 병렬 추론에 OAI가 낸 최고점 모델이긴 함 두 모델의 비용 생각하면 공정하지 않다는 의견엔 어느 정도 동의함 제목 자극적으로 적은 건 잘못된 정보를 말하고 다니는 사람들한테 긁혀서 그랬음

[ㅇㅇ 4(115.126)]

이새끼 억빠 존나게 하네 아까부터 존나 호감가게 ㅋㅋㅋㅋ

[한가운데(centerofworld)]

@기도문 이새끼 존나웃기네 ㅋㅋㅋㅋㅋㅋ

[야하이잇(dignity123)]

구글 tpu 컴퓨팅 포화 상태라 하루 할당량 5회인게 최대 단점일뿐 ㅋㅋ tpu v7 언제 도입될려나

[ㅇㅇ 2(114.70)]

딥띵크랑 경쟁하는 모델은 저게 아니라 imo모델로 봐야할듯

[ㅇㅇ 2(114.70)]

아직은 딸리는게 맞지

[야하이잇(dignity123)]

딥띵크도 imo 출시 모델은 아니고 너프한 버젼이긴 함

[ㅇㅇ 2(114.70)]

@야하이잇 ㅇㅇ 근데 oai도 원본으로 내지는 못할거 같아서.. 글고 애초에 oai는 모델 자체가 다르다고 하니 나중에 내면 그걸로 모는게 맞을듯

[Weisser_Adler(adler1)]

o3프리뷰 사례보면 구글도 동메달급으로 낸 마당에 OAI는 그것보다 더 열화되면 열화됐지 높을리는 없는

[chatgpt4o(ejrtksfl2)]

핵폭탄급이라면서 ㅅㅂ gpt5

[익명(germany1595)]

휴가....가야겠지?

[익명(fumes1032)]

HLE gpt-5 po 40%대 아냐..??

[익명(180.66)]

그건 툴을 사용한 벤치임 구글이 노 툴 벤치만 공개한 이유도 공정한 비교를 위해 노 툴 벤치만 공개한 거고 저 그래프 올린 사람도 노 툴 벤치끼리 비교한 거고

[익명(fumes1032)]

제미니 앱에서 했다는데 노툴이 가능해..?

[익명(180.66)]

@ㅇㅇ Model selection: To ensure fair comparison, we only compare results for models without additional tool calls enabled. 이랬는데 당연히 툴 안 썼겠지 썼으면 미친 놈들이고

[익명(fumes1032)]

AIS도 아니고 앱인데 노툴이 가능해?? 인터넷검색도 안하고?

[익명(fumes1032)]

앱은 따로 검색, 툴 설정없는걸로 아는데

[익명(14.33)]

SOTA도 아니야?ㅋㅋㅋ진짜 지랄났다 지랄났어 ㅅㅂ 체감 븅신이더니

[ㅇㅇ 3(121.132)]

월 36만원에 벤치황 모델을 하루 5번 사용해보세요

[익명(59.11)]

@ㅇㅇ3(121.132) 출시모델 중에서 SOTA 아닌건 맞잖아 왜 발작인데ㅋㅋㅋㅋOAI 사랑함?

[ㅇㅇ 3(121.132)]

@ㅇㅇ(59.11) 그래서 SOTA 모델 36만원 주고 하루 5번 알차게 쓰라는데 왜 발작? ㅋㅋ 사실 나왔을 때 후기 보면 진짜 SOTA인 줄도 모르겠지만 ㅋㅋㅋ

[익명(14.33)]

@ㅇㅇ3(121.132) 진정해 OAI 가 병신 나락가도 AGI는 오니까 팬심 대단해ㅋㅋㅋㅋㅋ

[ㅇㅇ 3(121.132)]

@ㅇㅇ(14.33) 그 충성심으로 울트라 구독해서 sota 증명이라도 해봐

[익명(demdem5533)]

내꿈은 젬딥띵크를 사용해보는것이다

[Weisser_Adler(adler1)]

250달러만 내면.. 250달러만 내면.. (일 5회)

[ㅇㅇ 5(61.72)]

비용으로 까는 애들은 앞으로 pro요금제한테만 제공하는 gpt5 thinking high 벤치랑 다른 모델 비교하지 말고 5thinking-midium 벤치랑 비교하는 게 공정하지 않냐 해괴한 논리네

[멘토스(gblzvhbddpj2)]

치 타

[비타7274(religion0482)]

이런 노잼 그래프경쟁 말고 재밌는소식 없나