[일반] 매스아레나 평가 팀, 일반 제미나이로 금메달 주장은 과장이다

[Hbtt(needle2148)]

ㄴ OpenAI가 자사 결과를 공개하기 전 상용 LLM들에 대한 2025 IMO 점수 평가를 MathArena에 올린 팀

념글의 프롬프트&파이프라인 정교화로 일반 제미나이로도 금메달급 풀이가 가능하다는 주장에

라는 의견을 밝힘

[et(evgz6v8f9z)]

나도 이 생각에 어느정도 동의함. 프롬프팅은 생각의 형태를 정해줄 순 있지만, 더 나은 생각을 만들어내지는 못한다고 봄.

[점심밥(yield0917)]

[멘토스(gblzvhbddpj2)]

[ㅇㅇ 1(211.179)]

문제 1,2에서 힌트 주고서는 다중 에이전트였다면 당연히 생각했을거니 문제없다고 주장하더라

[익명(49.246)]

프롬프트 엔지니어링만으로 뚫을 수 있었으면 구글 팀이 진작에 했을 것

[ㅇㅇ 2(118.38)]

나는 cot, tot자동화한게 결국 추론이어서 동일한 기본 모델에서 추론 강화로 당연히 풀 수 있을꺼라 생각함. 문제를 풀지 못했다면, 저자가 제공한 프롬프트가 충분하지 못했겠지 싶음. 마찬가지로 이미 프롬프트 다중 프롬프트 엔지니어링자동화한게 추론인데, 한번의 입력으로 정답을 얻지 못하고 여러번의 입력으로 정답을 유추하게 한건

[순문희재(musical5073)]

[탈조선(reuse2097)]

개추. 아무리봐도 일반모델로는 저정도의 추론과 직관을 이어나가지못함

[익명(novel1295)]

프롬프트가 문제에 대한 힌트였어? 그럼 그렇지 프롬프트만으로 30% 정답율이 금메달까지 오를리가

[castorp(tanteconan)]

저 사람 논문 안 읽어본 듯, 제미나이 2.5에게 주어지는 추론토큰이 3만인가 그래서, 이런 저런 테크닉을 시도했다고 써놨음. 모델이 계속 돌아가서 처음 어떻게 도입할지 알면 좋겠지만, 현실적인 한계로 누구나 생각할만한 일반적인 풀이 유형을 알려주는 건 어쩔 수 없는 거임. 공식 금메달 모델은 추론 토큰이 엄청나다며? 그러면 이 정도 제약 완화는 괜찮지않나

[ㅇㅇ 3(180.64)]

어떤 문제가 주어졌을 때 접근방법 제시만 제대로 해줘도 엄청 차이가 많이나서 힌트가 맞다고 봄. 수만토큰을 생성했을 때, 올바른 접근이 귀납법이라는걸 스스로 알아차릴 수 있느냐 자체가 성능평가의 핵심 중 하나지

[qtwk(outrage3078)]

수학문제에서 힌트가 얼마나큰건데 힌트줬으면 좀...

[Hbtt(needle2148)]

일단 구글 딥마인드 현직 소속 한 분은 딥씽크 모델도 아니고 일반 모델이면 한 줄 힌트 준다고 저 정도 되는 것만으로도 어마어마하다는 입장

[Hbtt(needle2148)]

@Hbtt
https://x.com/_k_sridhar/status/1947801297257906361?t=-44BMOXoP4bH8YyVCtjunA&s=19

[익명(203.230)]

현실적인 한계로 누구나 생각할만한 일반적인 풀이 유형 << 누구나 생각할만한 일반적인 풀이 유형이면 당연히 알려주지 않고 모델 스스로 떠올리게 해야지. 2.5 pro는 아직 거기서 약점이 있다는 거고, 이번 IMO 모델은 그런 부분에서 개선 된거고.

[ㅇㅇ 4(59.5)]

딥마인드 연구원이 "oai도 발견했군요!" 이 ㅈㄹ할 때부터 쎄하더라니 OAI 경쟁자 이미지 유지하려 급하게 뗌빵쳤다는 느낌을 지울 수가 없음 제미니 2.5 pro는 좋았는데 저건 좀 짜친다

[야하이잇(dignity123)]

근데 저건 딥마인드에서 한 연구도 아닌데 애초에 원래 논문도 o3나 이런거에도 적용가능한 파이프라인이라 했던거라

[익명(203.230)]

저 논문은 이번 imo에서 구글이 한 거랑 다른 건데...?