[일반] 얼마전 짱개판 o1 모델 qwq 라이브 벤치 점수를 알아보자

[익명(175.199)]

Model	Provider	Global Average	Reasoning Average	Coding Average	Mathematics Average	Data Analysis Average	Language Average	IF Average
o1-mini-2024-09-12	OpenAI	57.38	72.33	48.05	60.89	56.73	40.89	65.40
o1-preview-2024-09-12	OpenAI	65.63	67.42	50.85	64.92	67.31	68.72	74.60
qwq-32b-preview	Alibaba	39.85	57.71	37.20	55.88	31.62	21.09	35.59

o1 시리즈에 비해 추론 점수도 조금 떨어지고 특히 나머지 점수는 말할 것도 없이 형편 없어서 종합 점수는 o1 프리뷰는 물론 미니하고 비교해도 훨씬 떨어짐    지나치게 올려칠 필요는 없었던 모델 짱깨는 그저 짱깨다 

[익명(222.96)]

qwq랑 o1 비용차이가 몇십배 이상은 나지않음? 거기다 qwq는 오픈소스고... 둘을 벤치로 비교하는건 좀 그런듯

[익명(175.199)]

점수가 미니랑 비교해도 훨씬 쳐지는걸 보면 추론 성능을 위해 나머지는 많이 포기한듯

[익명(124.54)]

수백b짜리도 아니고 32b짜리 중국 카피모델이 o1바로밑이면 사기지