[📪정보] 추론 모델 비용 낮추는 기술 속속 공개..."2+3에 CoT 필요 없어"

[Borazin..(player4081)]

https://www.aitimes.com/news/articleView.html?idxno=166683

추론 모델 비용 낮추는 기술 속속 공개...

오픈AI의 'o1'과 비슷한 구조를 가진 모델들은 인간처럼 단계적 추론에 능숙하지만, ‘과잉 사고(overthinking)’라는 문제를 안고 있다. 이는 사소한 문제에 과도한 계산 자원을 소모하거나 불필요한 추론 과정을 반복, 비용을 쓸데없이 키우는 것을 말한다.

텐센트와 상하이 자오퉁대학교 연구진은 31일(현지시간) 추론 전문 모델의 과잉 사고 문제를 해결하기 위한 학습 방법을 온라인 아카이브에 게재했다. 논문 제목은 '2+3에 대해 많이 생각하지 마세요. o1 유사모델(o1-Like LLM)에 대한 과잉 사고에 관하여'다.

이에 따르면 과잉 사고는 계산 비용을 크게 증가시키지만, 결과의 정확성을 높이는 데 별다른 기여를 하지 않는 경우를 말한다. 예를 들어, ‘2+3’같은 간단한 문제를 헤결하는 데에도 o1과 비슷한 추론 전문 모델은 기존 대형언어모델(LLM)보다 훨씬 더 많은 토큰을 사용해 지나치게 세부적인 추론을 생성할 수 있다. 이는 모델의 실용성을 크게 떨어뜨린다.

이 문제를 해결하기 위해 연구진은 모델 학습 과정에 ‘결과 효율성(outcome efficiency)’과 ‘과정 효율성(process efficiency)’이라는 두가지 평가 지표를 통합하는 자기 학습(self-training) 접근법을 제안했다.

알리바바의 o1 유사 모델인 'QwQ-32B-프리뷰'에 이 전략을 적용한 결과, MATH500 데이터셋을 해결하는 데 토큰 사용량을 48.6%나 줄이면서 정확도를 유지했다.

특히 FCS+반성 전략을 통해서 효율성은 최대 75.8%까지 향상됐다. GPQA와 AIME 같은 더 어려운 데이터셋에서도 계산 자원 사용량을 줄이면서 강력한 성능을 유지하는 데 성공했다고 전했다.

한편, 이처럼 추론 모델의 비용을 낮추려는 시도는 계속 등장하고 있다.

지난 주에는 난징대학교와 러트거스대학교, 매사추세츠대학교 애머스트 연구진이 토큰 예산 인식 LLM 추론 프레임워크인 'TALE(Token-Budget-Aware LLM rEasoning)'에 관한 논문을 발표했다.

https://arxiv.org/html/2412.21187v1

Do NOT Think That Much for 2+3=? On the Over-Thinking of o1-Like LLMs

[ailover(photo7512)]

항상 생각은 했는데 저걸 기술적으로 어떻게 구현하냐가 참 궁금했음.

[점심밥(yield0917)]

[아스타리온(attempt1316)]

[익명(14.47)]

반복 추론 뒤 결과 도출이 존나게 비싸긴 한가보다

[익명(110.10)]

[초존도초(htr3c654r6ft)]

생각해보니 참 신기한 게 중국에서 꾸준히 오픈소스 모델을 전세계에 공급한다는 게 아이러니함 ㅋ

[ailover(photo7512)]

Fully Open source임?

[디시콘발사대(fcbjsjmu1t9f)]

[천사다천사(jjtheman999)]

[익명(211.252)]

부진장강곤곤래 ㄷㄷ

[익명(amazonia)]

비용 줄이는거 화이팅