[📪정보] Alibaba, R1과 대등한 QwQ-32B 정식 버전 공개

[익명(121.178)]

671B R1과 비슷한 수준의 수학, 코딩 벤치마크 기록

이전 QwQ-32B-preview의 정식 버전

미래의 작업

이는 추론 능력을 향상시키기 위해 강화 학습(RL)을 확장하는 Qwen의 첫 번째 단계입니다. 이 여정을 통해 우리는 확장된 RL의 엄청난 잠재력을 목격했을 뿐만 아니라 사전 학습된 언어 모델 내에서 활용되지 않은 가능성을 인식했습니다.

차세대 Qwen을 개발하기 위해 노력하면서 확장된 계산 리소스로 구동되는 RL과 더 강력한 기반 모델을 결합하면 인공 일반 지능(AGI)을 달성하는 데 더 가까워질 것이라고 확신합니다. 또한 추론 시간 확장을 통해 더 큰 지능을 잠금 해제하는 것을 목표로 하여 에이전트를 RL과 통합하여 장기적 추론을 가능하게 하는 것을 적극적으로 모색하고 있습니다.

QwQ-32B는 Apache 2.0 라이선스에 따라 Hugging Face 및 ModelScope 에서 개방형 가중치를 제공하며 Qwen Chat을 통해 접근할 수 있습니다 .

[ㅇㅇ 1(121.132)]

32b가 저 정도면 7~8b도 꽤 하겠네

[익명(course2187)]

[멘토스(gblzvhbddpj2)]

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[멘토스(gblzvhbddpj2)]

[익명(125.130)]

이런미친 ㅋㅋㅋ

[익명(sukusuku7)]

32b가 R1급?? - dc App

[익명(sukusuku7)]

[난모르것다(farewell1592)]

32b면 진짜 로컬로 돌려볼만 하겠는데 ㅋㅋ

[ㅇㅇ 2(220.65)]

레딧 보니까 벤치성능은 안나오는데 32B 치고 큰 진전은 맞는듯

[제프리힌튼(faucet7834)]

마윈이돌아왛가

[익명(germany1595)]

짜요

[콜라조무사(tkatjdrhdghkrnr123)]

캬 좋아요. 로컬로 한글만 됐으면 좋겠다.

[디시콘발사대(fcbjsjmu1t9f)]

[수직(player5319)]

[익명(ancestor7224)]

[ㅇㅇ 3(121.190)]

로컬로 돌려봤는데, 추론이 너무 긺. 로컬은 안그래도 컨텍스트 길이가 짧은데, 추론을 하루종일해갖고 추론만 하다가 컨텍스트 길이 한계 도달해서 대답을 안함. 다른 애들 반응도 비슷한거 보니까 추론 길게해도 되는 벤치는 잘되는데 실사용은 힘든듯.

[코드길게하지마(flow6504)]

학습 과정에서 추론의 길이 같은걸 늘리는 방향으로 구성했나보네 그렇게하다보니 벤치마크 성능은 올라간거구나. 어떻게보면 지금 벤치마크의 맹점일수도 - dc App