[일반] 2.5 Pro 06-05 인류 마지막 시험 결과 짧은 분석글이 있네

[익명(winner1918)]

새로운 제미나이 모델이 인류의 마지막 시험에서 더 높은 점수를 받았음에도 불구하고, 결국 O3 모델에 비해 오답을 제공할 때 더 큰 확신을 보일 것(보정 오차율)입니다.

https://x.com/AlLeakWire/status/1930980229192798363?t=ASaSCKRCfbRmlaj9Aox5KQ&s=19

[익명(what6567)]

이렇게 보니 오히려 O3가 얼마나 잘만든 모델인지가 보이네

[ㅇㅇ 1(58.232)]

엥 2배나 높은거?

[익명(nominate4119)]

이렇게보면 o3 압승인데

[익명(bluewarp)]

저게 정확히 뭔데? 대부분 70% 넘네

[익명(winner1918)]

풀어말하자면 모델이 틀린 답을 맞다고 확신하는 경향임

[익명(bluewarp)]

@ㅇㅇ 그럼 맞는 답은 확신하는거임? 그게 아니면 저게 의미가 있나 싶다

[익명(39.125)]

잘 이해가 안된다면 자기가 뭘 모르는지 아는 메타인지가 잘 된다는거

[익명(bluewarp)]

@ㅇㅇ(39.125) 그래서 맞는 답은 확신하는지 물어보자너

[익명(39.125)]

당연히 자기가 뭘 모르는지 안다는 건 뭘 아는지도 확실하게 안다는 거지

[익명(bluewarp)]

@ㅇㅇ(39.125) 아니 맞는 답도 확신하지 못한다면 그냥 모든 답에 확신을 못하는거잖아

[익명(39.125)]

그냥 인정하기 싫으면 인정하기 싫다고 해라

[익명(bluewarp)]

@ㅇㅇ(39.125) 뭘 인정하기 싫다는거야 그럼 모든 답에 확신하지 못하면 그게 왜 메타인지가 잘된다는건지 설명좀.. AI가 맞는 말해도 내가 아닌데? 하면 AI가 아 제가 착각했습니다. 하는게 메타인지가 잘된다는거?

[ㅇㅇ 2(125.130)]

맞는답을 얘기해도 말을 바꾸니 문제지

[익명(39.125)]

아니 o3도 o3인데 o4-mini 존재감 뭐냐 ㅋㅋ

[ㅇㅇ 3(221.158)]

환각 높아진거 맞구나..

[ㅇㅇ 4(211.109)]

고집이 너무 셈