[일반] 제미나이 3 벤치마크와 실제 성능의 괴리에 대해

[익명(58.29)]

Gemini 3 Flash tops the new “Misguided Attention” benchmark, beating GPT-5.2 and Opus 4.5 : r/singularity

'익숙한 수수께끼를 변형시킨' 테스트에서 3 Pro보다 3 Flash가 높은 점수를 받은 것에 대해

벤치마크에 쓰인 질문 자체를 이해하고 답한 게 아니라 그런 '벤치마크에 쓰일 법한 질문' 자체의 패턴을 익혀서 답하는 과적합 문제가 드러나고 있다는 모양

[레알팜(lottohelp)]

[ㅇㅇ 1(211.106)]

pro에 대해서 말하는 거라면 오히려 pro가 2위임 flash가 가장 뛰어난 거지

[글쓴 ㅇㅇ(58.29)]

ㅇㅇ. 저 url에서는 '(기존의 익숙한 수수께끼를 비틀어서 순수 이해도를 체크하는 해당 테스트에서) 3 Flash가 단순히 과적합이 덜 나타나기 때문에 벤치가 더 잘나온 게 아니냐' 라는 의문을 제시하고 있음. 즉, 바꿔 말하면 3 pro의 벤치마크 우위성은 과적합에 의한 것일 가능성도 부정할 수 없는거지

[ㅇㅇ 1(211.106)]

@글쓴 ㅇㅇ(58.29) 내 말은 pro가 저기에서도 다른 회사 모델들보다 더 좋다고

[익명(sudden9813)]

구체적인 예시가 있으면 좋겠는데

[익명(sudden9813)]

아 과추론 얘기한거? 저 벤치 한정으로는 그럴만하네 트롤리 5명 예시 있더만

[익명(wild7862)]

뭔 ㅋㅋㅋ - dc App