[📪정보] (논문) 1.5B로 o1-preview급 달성

[초존도초(htr3c654r6ft)]

소규모 LLM에서 추론을 위한 강화 학습: 무엇이 효과가 있고 무엇이 효과가 없는가  

Quy-Anh Dang, Chris Ngo  

VNU 과학대학교, 베트남  

Knovel Engineering Lab, 싱가포르  

[e-mail], [e-mail]

초록

대규모 언어 모델(LLM)의 추론 능력을 향상시키는 작업은 일반적으로 방대한 계산 자원과 광범위한 데이터셋에 의존하며, 이는 자원이 제한된 환경에서의 접근성을 제한합니다. 본 연구는 소규모 LLM의 추론 능력을 개선하기 위해 강화 학습(RL)의 잠재력을 탐구하며, 특히 15억 개 매개변수를 가진 모델인 DeepSeek-R1-Distill-Qwen-1.5B를 대상으로, 엄격한 제약 조건 하에서 진행되었습니다: 4개의 NVIDIA A40 GPU(각각 48GB VRAM)를 사용해 24시간 내에 훈련을 완료하는 것을 목표로 했습니다. Group Relative Policy Optimization(GRPO) 알고리즘을 조정하고, 작지만 고품질의 수학적 추론 데이터셋을 엄선하여, 모델의 행동과 성능을 탐구하기 위한 세 가지 실험을 수행했습니다. 연구 결과, 빠른 추론 능력 향상을 확인할 수 있었습니다. 예를 들어, AMC23 정확도가 63%에서 80%로 상승했으며, AIM.E24에서는 46.7%에 도달하여 o1-preview를 능가했습니다. 이는 단 7,000개의 샘플과 42달러의 훈련 비용만으로 달성된 결과로, 기존 모델의 수천 달러 비용과 비교됩니다. 그러나 장기 훈련에서는 최적화 불안정성과 길이 제약과 같은 도전 과제가 드러났습니다. 이러한 발견은 소규모 LLM에 대한 RL 기반 미세 조정의 효율성을 보여주며, 대규모 접근법에 비해 비용 효율적인 대안을 제시합니다. 우리는 코드와 데이터셋을 오픈소스 자원으로 공개하여, 장단점에 대한 통찰을 제공하고 자원이 제한된 환경에서도 확장 가능하며 추론 능력을 갖춘 LLM의 기반을 마련했습니다. 모든 자료는 https://github.com/knoveleng/open-rs에서 확인할 수 있습니다.

요약

이 논문은 소규모 언어 모델(LLM)에서 강화학습(RL)을 통한 추론 능력 향상에 관한 연구입니다. 주요 내용은 다음과 같습니다:

핵심 연구 목표

- 1.5B 파라미터 규모의 작은 모델(DeepSeek-R1-Distill-Qwen-1.5B)에서 RL 기법이 수학적 추론 능력을 향상시킬 수 있는지 연구

- 제한된 컴퓨팅 자원(4대의 NVIDIA A40 GPU, 24시간 이내)에서 효율적인 훈련 방법 탐색

방법론

1. 알고리즘: Group Relative Policy Optimization(GRPO) 알고리즘 응용

2. 데이터: 39,659개의 고품질 수학 문제로 구성된 데이터셋 구축

3. 훈련 실험:

   - 실험 1: 고품질 데이터셋(open-s1)으로 훈련, 4096 토큰 제한

   - 실험 2: 쉬운 문제와 어려운, 문제를 혼합, 3584 토큰 제한

   - 실험 3: 코사인 보상 함수 적용, 3584 토큰 제한

주요 결과

- 성능 향상: AMC23 정확도 63%→80%, AIM.E24에서 46.7% 달성(o1-preview 초과)

- 효율성: 단 7,000개 샘플과 $42의 훈련 비용으로 달성(기존 모델들은 수천 달러 소요)

- 벤치마크: 소규모 모델임에도 여러 수학 추론 벤치마크에서 더 큰 모델들과 경쟁력 있는 성능 달성

주요 통찰

1. 소규모 LLM도 50-100 스텝 내에서 고품질 데이터로 빠른 추론 능력 향상 가능, 그러나 길이 제한 하에서 장기 훈련 시 성능 저하 발생

2. 난이도가 다양한 문제를 혼합하면 훈련 안정성과 초기 성능 향상

3. 코사인 보상 함수가 출력 길이 안정화에 도움, 그러나 매우 어려운 문제에는 확장된 길이 제한 필요

의의

- 제한된 자원으로도 소규모 LLM의 추론 능력 향상 가능성 입증

- 대규모 모델 없이도 경쟁력 있는 추론 능력 달성 방법 제시

- 강화학습 기반 파인튜닝의 효과와 한계점 식별

평가

이 논문의 연구는 매우 신뢰할 만합니다. 주요 근거와 방법론이 명확하게 제시되어 있고, 실험 설계가 체계적입니다. 특히 주목할 점은:

1. 자원 효율성: 제한된 컴퓨팅 자원으로 인상적인 결과를 달성했다는 점은 실용적 가치가 큽니다.

2. 투명한 보고: 저자들이 한계점을 솔직하게 인정하고 있습니다(장기 훈련 시 성능 저하, 다국어 출력 문제 등).

3. 재현 가능성: 코드와 데이터셋을 공개하여 결과 검증이 가능합니다.

4. 벤치마크 성능: 확립된 벤치마크에서 훨씬 큰 모델들과 비교해도 경쟁력 있는 성과를 보여줍니다.

이 연구는 AI 기술의 민주화 측면에서 중요한 의미를 갖습니다. 모든 조직이 대규모 컴퓨팅 자원을 확보할 수 없는 현실에서, 소규모 모델로도 유의미한 추론 능력을 달성할 수 있다는 점을 입증했기 때문입니다.

다만 이 논문은 현재 심사 중인 프리프린트이므로 향후 동료 평가를 통해 추가 검증이 필요합니다. 그럼에도 방법론의 명확성과 결과의 일관성을 고려할 때, 이 연구의 주장과 발견은 상당히 신뢰할 만하다고 판단됩니다.

[초존도초(htr3c654r6ft)]

o1-preview 나와서 세상 까무러쳤을 당시에 누가 이거 모델 사이즈 1.5B라고 주장했다면 미친 소리라고 했을 듯한데ㅋㅋ 딥식 R1 노하우가 오픈된 이후로 모든 관점이 달라진 듯

[익명(hyeongim264)]

ㅁㅊㄷ ㅁㅊㅇ - dc App

[SINGULARITY(foil6003)]

1.5B ㄷㄷ;;

[폰노이만(alter0179)]

공기만큼 값싼 지능이 온다

[이세이미야케(jkwarawara)]

성능 향상만큼 경량화도 미친 듯이 이뤄지네 ㄷㄷ

[익명(hyeongim264)]

진짜 값싼 지능이 오는듯

[레알팜(lottohelp)]

[익명(orangestar1122)]

딥스케일러가아니네

[ㅇㅇ 1(221.147)]

네이버한테서 보고싶었던 모습이 이런건데... 돈 없어서 스케일업 못하면 경량화로 세계 1류가 됐었어야지...

[ㅇㅇ 2(218.148)]

대 호 수

[ailover(photo7512)]

네이버 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

[ㅇㅇ 3(59.24)]

이런거보다는 돈 대충 생색낼만큼만 박고 바이럴 비슷하게 하는게 한국회사들 특징이잖음 ㅋㅋ 최근에도 갑자기 우수수나오길래 아 또 시작이네 싶더라

[AI네이티브(thor2018)]

[익명(61.84)]

벤치 보고있는데 AIME 24에서만 비정상적으로 점수 높은걸로 인용한거봐서 조금 쎄한데

[멘토스(gblzvhbddpj2)]