[일반] qwen3 235b a22b(이전소타) 랑 oss 벤치비교

[익명(116.32)]

aime가 존나차이남 

심지어 모델사이즈 절반임 심지어 10분의 1사이즈랑 비빔

[익명(early8377)]

그냥 한세대는 차이나는거같은데 ㄹㅇ - dc App

[익명(180.66)]

Qwen은 툴 안 쓴 거고 oss는 툴을 쓴 거야...

[글쓴 ㅇㅇ(116.32)]

노툴임?

[익명(180.66)]

아니 oss는 대놓고 툴 사용이라고 적혔고 Qwen은 당연히 노 툴 pass@1이지

[익명(180.66)]

@글쓴 ㅇㅇ(116.32) 글고 씨빨 qwen은 비추론 모델을 가져오고 있네 하...

[글쓴 ㅇㅇ(116.32)]

나온게 저거뿐인데 시발그러면 추론이랑 툴사용 쳐올리던가

[익명(180.66)]

@글쓴 ㅇㅇ(116.32) 에라이 븅신새끼야 ㅈ같이 올려놓고 적반하장은 씨발 ㅋㅋ

[ㅇㅇ 1(119.202)]

그런데 Openai AIME 결과에서는 tool 도구를 썼다고 나오는 것 같아서 별로 공정한 비교는 아닌 것 같습니다.

[ㅇㅇ 2(14.38)]

그 openai는 툴 사용 벤치도 섞여있음

[ㅇㅇ 1(119.202)]

그리고 나온 Qwen 모델은 Instruct 버전이라서 reasoning을 하지 않는 반면 OpenAI모델은 reasoning을 기본적으로 하는 것으로 알고 있습니다.

[ㅇㅇ 1(119.202)]

Reasoning을 사용하는 모델 버전은 Qwen/Qwen3-235B-A22B-Thinking-2507 으로 알고 있습니다.

[글쓴 ㅇㅇ(116.32)]

오케이 확인해보고 정정할게

[ㅇㅇ 1(119.202)]

@ㅇㅇ1(119.202) 찾아보니 Qwen/Qwen3-235B-A22B-Thinking-2507 AIM E25 는 92.3 점을 받았네요. 따로 주석이 없는 것을 보니 tool을 사용하지 않은 것 같습니다.

[ㅇㅇ 1(119.202)]

@ㅇㅇ1(119.202)
https://huggingface.co/Qwen/Qwen3-235B-A22B-Thinking-2507

[글쓴 ㅇㅇ(116.32)]

찾아서 이미올림 근데 그것도 노툴임? 확실한가?