[📪정보] 논문) DeepSeek-R1: 강화 학습을 통한 LLM의 추론 능력 강화

[초존도초(htr3c654r6ft)]

DeepSeek-R1: 강화 학습을 통한 LLM의 추론 능력 강화

DeepSeek-AI

[e-mail]

초록

저희는 첫 번째 세대 추론 모델인 DeepSeek-R1-Zero와 DeepSeek-R1을 소개합니다. DeepSeek-R1-Zero는 사전 단계로서 지도 학습 미세 조정(SFT) 없이 대규모 강화 학습(RL)을 통해 학습된 모델로, 놀라운 추론 능력을 보여줍니다. 강화 학습을 통해 DeepSeek-R1-Zero는 자연스럽게 수많은 강력하고 흥미로운 추론 행동을 보여줍니다. 그러나 가독성 저하 및 언어 혼용과 같은 문제에 직면합니다. 이러한 문제를 해결하고 추론 성능을 더욱 향상시키기 위해, 저희는 다단계 학습과 강화 학습 이전의 콜드 스타트 데이터를 통합한 DeepSeek-R1을 소개합니다. DeepSeek-R1은 추론 작업에서 OpenAI-01-1217과 견줄 만한 성능을 달성합니다. 연구 커뮤니티를 지원하기 위해, 저희는 DeepSeek-R1-Zero, DeepSeek-R1, 그리고 Qwen과 Llama를 기반으로 DeepSeek-R1로부터 증류된 6개의 밀집 모델(1.5B, 7B, 8B, 14B, 32B, 70B)을 오픈 소스로 공개합니다.

[Figure 1 | DeepSeek-R1의 벤치마크 성능. 막대 그래프는 다양한 벤치마크(AIME 2024, Codeforces, GPQA Diamond, MATH-500, MMLU, SWE-bench Verified)에서 DeepSeek-R1, OpenAI-01-1217, DeepSeek-R1-32B, OpenAI-01-mini, DeepSeek-V3 모델의 정확도 또는 백분위수 점수를 보여줍니다. Y축은 정확도/백분위수(%)를 나타냅니다.]

목차

1 서론

1.1 기여

1.2 평가 결과 요약

2 접근 방식

2.1 개요

2.2 DeepSeek-R1-Zero: 기본 모델에 대한 강화 학습

2.2.1 강화 학습 알고리즘

2.2.2 보상 모델링

2.2.3 학습 템플릿

2.2.4 DeepSeek-R1-Zero의 성능, 자가 진. 화 과정 및 아하 모먼트

2.3 DeepSeek-R1: 콜드 스타트를 이용한 강화 학습

2.3.1 콜드 스타트

2.3.2 추론 중심 강화 학습

2.3.3 거부 샘플링 및 지도 학습 미세 조정

2.3.4 모든 시나리오에 대한 강화 학습

2.4 증류: 추론 능력을 갖춘 소형 모델 강화

3 실험

3.1 DeepSeek-R1 평가

3.2 증류된 모델 평가

4 논의

4.1 증류 대 강화 학습

4.2 실패한 시도

5 결론, 한계 및 향후 연구

A 기여 및 감사

1. 서론

최근 몇 년 동안, 대규모 언어 모델 (LLM)은 급속한 반복 및 진;화 (Anthropic, 2024; Google, 2024; OpenAI, 2024a)를 거치면서 인공 일반 지능 (AGI)으로 나아가는 격차를 점진적으로 줄이고 있습니다.

최근에는 후처리 학습이 전체 학습 파이프라인의 중요한 구성 요소로 부상했습니다. 이는 추론 작업의 정확도를 향상시키고, 사회적 가치에 부합하며, 사용자 선호도에 적응하는 동시에 사전 학습에 비해 상대적으로 최소한의 컴퓨팅 자원을 필요로 하는 것으로 나타났습니다. 추론 능력의 맥락에서, OpenAI의 o1 (OpenAI, 2024b) 시리즈 모델은 연쇄적 사고 추론 프로세스의 길이를 늘려 추론 시간 확장을 도입한 최초의 모델입니다. 이 접근 방식은 수학, 코딩 및 과학적 추론과 같은 다양한 추론 작업에서 상당한 개선을 이루었습니다. 그러나 효과적인 테스트 시간 확장의 과제는 연구 커뮤니티에게 여전히 미결 과제로 남아 있습니다. 여러 선행 연구에서 프로세스 기반 보상 모델 (Lightman 외., 2023; Uesato 외., 2022; Wang 외., 2023), 강화 학습 (Kumar 외., 2024) 및 몬테카를로 트리 검색 및 빔 검색과 같은 검색 알고리즘 (Feng 외., 2024; Trinh 외., 2024; Xin 외., 2024)을 포함한 다양한 접근 방식을 탐구했습니다. 그러나 이러한 방법 중 어느 것도 OpenAI의 o1 시리즈 모델과 견줄 만한 일반적인 추론 성능을 달성하지 못했습니다.

본 논문에서는 순수 강화 학습 (RL)을 사용하여 언어 모델 추론 능력을 개선하는 첫 번째 단계를 밟습니다. 저희의 목표는 지도 학습 데이터 없이 순수 RL 프로세스를 통한 자가 진  화에 초점을 맞춰 LLM이 추론 능력을 개발할 수 있는 잠재력을 탐구하는 것입니다. 구체적으로, 저희는 DeepSeek-V3-Base를 기본 모델로 사용하고 GRPO (Shao 외., 2024)를 추론 모델 성능을 개선하기 위한 RL 프레임워크로 채택합니다. 학습 과정에서 DeepSeek-R1-Zero는 자연스럽게 수많은 강력하고 흥미로운 추론 행동을 보였습니다. 수천 번의 RL 단계를 거친 후, DeepSeek-R1-Zero는 추론 벤치마크에서 뛰어난 성능을 보입니다. 예를 들어, AIME 2024의 pass@1 점수는 15.6%에서 71.0%로 증가했으며, 다수결 투표를 통해 점수는 OpenAI-01-0912의 성능과 일치하는 86.7%까지 더욱 향상됩니다.

그러나 DeepSeek-R1-Zero는 가독성 저하 및 언어 혼용과 같은 문제에 직면합니다. 이러한 문제를 해결하고 추론 성능을 더욱 향상시키기 위해, 저희는 소량의 콜드 스타트 데이터와 다단계 학습 파이프라인을 통합한 DeepSeek-R1을 소개합니다. 구체적으로, 저희는 DeepSeek-V3-Base 모델을 미세 조정하기 위해 수천 개의 콜드 스타트 데이터를 수집하는 것으로 시작합니다. 이어서 DeepSeek-R1-Zero와 같은 추론 중심 RL을 수행합니다. RL 프로세스에서 수렴에 가까워지면, RL 체크포인트에 대한 거부 샘플링을 통해 새로운 SFT 데이터를 생성하고, 글쓰기, 사실 기반 QA, 자기 인식과 같은 영역에서 DeepSeek-V3의 지도 학습 데이터와 결합한 다음 DeepSeek-V3-Base 모델을 재학습합니다. 새로운 데이터로 미세 조정한 후, 체크포인트는 모든 시나리오의 프롬프트를 고려하여 추가 RL 프로세스를 거칩니다. 이러한 단계를 거친 후, OpenAI-01-1217과 동등한 성능을 달성하는 DeepSeek-R1이라는 체크포인트를 얻었습니다.

저희는 DeepSeek-R1에서 더 작은 밀집 모델로의 증류를 추가로 탐구합니다. Qwen2.5-32B (Qwen, 2024b)를 기본 모델로 사용하여, DeepSeek-R1로부터 직접 증류하는 것이 RL을 적용하는 것보다 성능이 뛰어납니다. 이는 더 큰 기본 모델에서 발견된 추론 패턴이 추론 능력을 향상시키는 데 중요하다는 것을 보여줍니다. 저희는 증류된 Qwen 및 Llama (Dubey 외., 2024) 시리즈를 오픈 소스로 공개합니다. 특히, 저희의 증류된 14B 모델은 기존의 최첨단 오픈 소스 QwQ-32B-Preview (Qwen, 2024a)보다 큰 차이로 성능이 뛰어나며, 증류된 32B 및 70B 모델은 밀집 모델 중에서 추론 벤치마크에서 새로운 기록을 세웠습니다.

1.1. 기여

후처리 학습: 기본 모델에 대한 대규모 강화 학습

저희는 사전 단계로서 지도 학습 미세 조정(SFT)에 의존하지 않고 기본 모델에 직접 RL을 적용합니다. 이 접근 방식을 통해 모델은 복잡한 문제를 해결하기 위한 연쇄적 사고(CoT)를 탐색할 수 있으며, DeepSeek-R1-Zero 개발로 이어집니다. DeepSeek-R1-Zero는 자가 검증, 성찰 및 긴 CoT 생성과 같은 기능을 보여주며 연구 커뮤니티에 중요한 이정표를 세웁니다. 특히, LLM의 추론 능력이 SFT 없이 순수하게 RL을 통해서만 강화될 수 있음을 검증한 최초의 공개 연구입니다. 이 획기적인 발견은 이 분야의 향후 발전을 위한 길을 열어줍니다.

저희는 DeepSeek-R1을 개발하기 위한 파이프라인을 소개합니다. 이 파이프라인은 향상된 추론 패턴을 발견하고 인간 선호도에 맞추기 위한 두 단계의 RL과 모델의 추론 및 비추론 능력을 위한 시드 역할을 하는 두 단계의 SFT를 통합합니다. 저희는 이 파이프라인이 더 나은 모델을 만들어 산업에 도움이 될 것이라고 믿습니다.

증류: 더 작은 모델도 강력할 수 있습니다.

저희는 더 큰 모델의 추론 패턴이 더 작은 모델로 증류될 수 있으며, 이는 작은 모델에서 RL을 통해 발견된 추론 패턴에 비해 더 나은 성능을 보인다는 것을 보여줍니다. 오픈 소스 DeepSeek-R1과 API는 향후 더 나은 소형 모델을 증류하는 데 연구 커뮤니티에 도움이 될 것입니다.

DeepSeek-R1에서 생성된 추론 데이터를 사용하여, 저희는 연구 커뮤니티에서 널리 사용되는 여러 밀집 모델을 미세 조정했습니다. 평가 결과는 증류된 더 작은 밀집 모델이 벤치마크에서 매우 뛰어난 성능을 보인다는 것을 보여줍니다. DeepSeek-R1-Distill-Qwen-7B는 AIME 2024에서 55.5%를 달성하여 QwQ-32B-Preview를 능가합니다. 또한, DeepSeek-R1-Distill-Qwen-32B는 AIME 2024에서 72.6%, MATH-500에서 94.3%, LiveCodeBench에서 57.2%를 기록합니다. 이러한 결과는 기존의 오픈 소스 모델보다 훨씬 뛰어난 성능이며 o1-mini와 견줄 만합니다. 저희는 Qwen2.5 및 Llama3 시리즈를 기반으로 증류된 1.5B, 7B, 8B, 14B, 32B 및 70B 체크포인트를 커뮤니티에 오픈 소스로 공개합니다.

1.2. 평가 결과 요약

추론 작업: (1) DeepSeek-R1은 AIME 2024에서 79.8% Pass@1 점수를 달성하여 OpenAI-o1-1217을 약간 능가합니다. MATH-500에서는 97.3%의 인상적인 점수를 달성하여 OpenAI-o1-1217과 동등한 성능을 보이고 다른 모델보다 훨씬 뛰어난 성능을 보입니다. (2) 코딩 관련 작업에서 DeepSeek-R1은 코드 경쟁 작업에서 전문가 수준을 보여주며, Codeforces에서 2,029 Elo 등급을 달성하여 경쟁에 참여한 인간 참가자의 96.3%보다 뛰어난 성능을 보입니다. 엔지니어링 관련 작업에서 DeepSeek-R1은 DeepSeek-V3보다 약간 더 나은 성능을 보이며, 이는 실제 개발자에게 도움이 될 수 있습니다.

지식: MMLU, MMLU-Pro 및 GPQA Diamond와 같은 벤치마크에서 DeepSeek-R1은 뛰어난 결과를 달성하여 MMLU에서 90.8%, MMLU-Pro에서 84.0%, GPQA Diamond에서 71.5%의 점수로 DeepSeek-V3보다 훨씬 뛰어난 성능을 보입니다. 이러한 벤치마크에서 OpenAI-01-1217의 성능에는 약간 못 미치지만, DeepSeek-R1은 다른 폐쇄 소스 모델보다 뛰어난 성능을 보여 교육 작업에서 경쟁력을 입증합니다. 사실 기반 벤치마크 SimpleQA에서 DeepSeek-R1은 DeepSeek-V3보다 뛰어난 성능을 보여 사실 기반 쿼리를 처리하는 능력을 입증합니다. OpenAI-01이 이 벤치마크에서 4o를 능가하는 유사한 추세가 관찰됩니다.

기타: DeepSeek-R1은 창의적인 글쓰기, 일반적인 질문 답변, 편집, 요약 등 다양한 작업에서도 뛰어난 성능을 보입니다. AlpacaEval 2.0에서 87.6%의 인상적인 길이 제어 승률과 ArenaHard에서 92.3%의 승률을 달성하여 시험 중심이 아닌 쿼리를 지능적으로 처리하는 강력한 능력을 보여줍니다. 또한, DeepSeek-R1은 긴 문맥 이해가 필요한 작업에서 뛰어난 성능을 보여주며, 긴 문맥 벤치마크에서 DeepSeek-V3보다 훨씬 뛰어난 성능을 보입니다.

2. 접근 방식

2.1. 개요

기존 연구에서는 모델 성능을 향상시키기 위해 많은 양의 지도 학습 데이터에 크게 의존했습니다. 본 연구에서는 콜드 스타트로서 지도 학습 미세 조정(SFT)을 사용하지 않고도 대규모 강화 학습(RL)을 통해 추론 능력을 크게 향상시킬 수 있음을 보여줍니다. 또한, 소량의 콜드 스타트 데이터를 포함하면 성능을 더욱 향상시킬 수 있습니다. 다음 섹션에서는 다음을 제시합니다. (1) SFT 데이터 없이 기본 모델에 직접 RL을 적용하는 DeepSeek-R1-Zero, (2) 수천 개의 긴 연쇄적 사고(CoT) 예제로 미세 조정된 체크포인트부터 RL을 적용하는 DeepSeek-R1. 3) DeepSeek-R1에서 소형 밀집 모델로 추론 능력을 증류합니다.

2.2. DeepSeek-R1-Zero: 기본 모델에 대한 강화 학습

강화 학습은 이전 연구 (Shao 외., 2024; Wang 외., 2023)에서 입증되었듯이 추론 작업에서 상당한 효과를 입증했습니다. 그러나 이러한 연구는 수집하는 데 시간이 오래 걸리는 지도 학습 데이터에 크게 의존했습니다. 이 섹션에서는 지도 학습 데이터 없이 순수 강화 학습 프로세스를 통해 자가 진. 화에 초점을 맞춰 LLM이 추론 능력을 개발할 수 있는 잠재력을 탐구합니다. 먼저 RL 알고리즘에 대한 간략한 개요로 시작하여 몇 가지 흥미로운 결과를 제시하고, 이것이 커뮤니티에 귀중한 통찰력을 제공하기를 바랍니다.

2.2.1. 강화 학습 알고리즘

그룹 상대 정책 최적화(GRPO) RL의 학습 비용을 절감하기 위해, 저희는 일반적으로 정책 모델과 크기가 동일한 비판자 모델을 포기하고 대신 그룹 점수에서 기준선을 추정하는 그룹 상대 정책 최적화 (GRPO) (Shao 외., 2024)를 채택합니다. 구체적으로, 각 질문 q에 대해 GRPO는 이전 정책 π_θold에서 출력 그룹 {o_1, o_2, ..., o_g}를 샘플링한 다음 다음 목적 함수를 최대화하여 정책 모델 π_θ를 최적화합니다.

ε 및 β는 하이퍼파라미터이고, A_i는 각 그룹 내의 출력에 해당하는 보상 {r_1, r_2, ..., r_g} 그룹을 사용하여 계산된 이점입니다.

[표 1 | DeepSeek-R1-Zero의 템플릿. 프롬프트는 학습 중에 특정 추론 질문으로 대체됩니다.]

[사용자와 어시스턴트 간의 대화. 사용자가 질문을 하고, 어시스턴트가 해결합니다. 어시스턴트는 먼저 마음 속으로 추론 과정을 생각한 다음 사용자에게 답변을 제공합니다. 추론 과정과 답변은 각각 <think> </think> 및 <answer> </answer> 태그로 묶여 있습니다. 즉, <think> 추론 과정이 여기에 있습니다. </think> <answer> 답변이 여기에 있습니다. </answer> 사용자: 프롬프트. 어시스턴트:]

2.2.2. 보상 모델링

보상은 RL의 최적화 방향을 결정하는 학습 신호의 원천입니다. DeepSeek-R1-Zero를 학습시키기 위해, 저희는 주로 두 가지 유형의 보상으로 구성된 규칙 기반 보상 시스템을 채택합니다.

- 정확도 보상: 정확도 보상 모델은 응답이 올바른지 여부를 평가합니다. 예를 들어, 결정론적 결과가 있는 수학 문제의 경우, 모델은 정확성에 대한 신뢰할 수 있는 규칙 기반 검증을 가능하게 하는 지정된 형식 (예: 상자 안)으로 최종 답변을 제공해야 합니다. 마찬가지로, LeetCode 문제의 경우, 컴파일러를 사용하여 미리 정의된 테스트 케이스를 기반으로 피드백을 생성할 수 있습니다.

- 형식 보상: 정확도 보상 모델 외에도, 저희는 모델이 사고 과정을 '<think>' 및 '</think>' 태그 사이에 넣도록 강제하는 형식 보상 모델을 사용합니다.

저희는 DeepSeek-R1-Zero 개발에 결과 또는 프로세스 신경망 보상 모델을 적용하지 않습니다. 왜냐하면 신경망 보상 모델이 대규모 강화 학습 프로세스에서 보상 해킹으로 고통받을 수 있고, 보상 모델을 재학습하려면 추가 학습 리소스가 필요하며 전체 학습 파이프라인이 복잡해진다는 것을 알았기 때문입니다.

2.2.3. 학습 템플릿

DeepSeek-R1-Zero를 학습시키기 위해, 저희는 기본 모델이 지정된 지침을 준수하도록 안내하는 간단한 템플릿을 설계하는 것으로 시작합니다. 표 1에 묘사된 바와 같이, 이 템플릿은 DeepSeek-R1-Zero가 먼저 추론 프로세스를 생성한 다음 최종 답변을 생성하도록 요구합니다. 저희는 모델의 RL 프로세스 중 자연스러운 진행 상황을 정확하게 관찰할 수 있도록 하기 위해 성찰적 추론을 의무화하거나 특정 문제 해결 전략을 장려하는 것과 같은 콘텐츠 특정 편견을 피하면서 제약 조건을 이 구조적 형식으로 의도적으로 제한합니다.

2.2.4. DeepSeek-R1-Zero의 성능, 자가 진. 화 과정 및 아하 모먼트

DeepSeek-R1-Zero의 성능 그림 2는 RL 학습 프로세스 전반에 걸쳐 AIME 2024 벤치마크에서 DeepSeek-R1-Zero의 성능 궤적을 보여줍니다. 그림에서 알 수 있듯이, DeepSeek-R1-Zero는 RL 학습이 진행됨에 따라 꾸준하고 일관된 성능 향상을 보여줍니다. 특히, AIME 2024의 평균 pass@1 점수는 초기 15.6%에서 인상적인 71.0%로 크게 증가하여 OpenAI-01-0912과 견줄 만한 성능 수준에 도달합니다. 이러한 상당한 개선은 모델 성능을 최적화하는 데 있어 저희 RL 알고리즘의 효능을 강조합니다.

표 2는 다양한 추론 관련 벤치마크에서 DeepSeek-R1-Zero와 OpenAI의 01-0912 모델 간의 비교 분석을 제공합니다. 결과는 RL이 다음을 가능하게 한다는 것을 보여줍니다.

[표 2 | DeepSeek-R1-Zero와 OpenAI o1 모델의 추론 관련 벤치마크 비교.]

[Figure 2 | 학습 중 DeepSeek-R1-Zero의 AIME 정확도. 각 질문에 대해 16개의 응답을 샘플링하고 안정적인 평가를 보장하기 위해 전체 평균 정확도를 계산합니다. X축은 단계, Y축은 정확도를 나타냅니다. 그래프에는 r1-zero-pass@1, r1-zero-cons@16, o1-0912-pass@1, o1-0912-cons@64의 4개의 선이 표시되어 있습니다.]

DeepSeek-R1-Zero는 지도 학습 미세 조정 데이터 없이도 강력한 추론 능력을 획득합니다. 이는 모델이 RL만으로 효과적으로 학습하고 일반화하는 능력을 강조하는 주목할 만한 성과입니다. 또한, 다수결 투표를 적용하면 DeepSeek-R1-Zero의 성능을 더욱 향상시킬 수 있습니다. 예를 들어, AIME 벤치마크에 다수결 투표를 적용하면 DeepSeek-R1-Zero의 성능은 71.0%에서 86.7%로 상승하여 OpenAI-01-0912의 성능을 능가합니다. 다수결 투표를 사용하든 사용하지 않든 경쟁력 있는 성능을 달성하는 DeepSeek-R1-Zero의 능력은 강력한 기초 능력과 추론 작업에서 추가 발전 가능성을 강조합니다.

DeepSeek-R1-Zero의 자가 진. 화 과정 DeepSeek-R1-Zero의 자가 진. 화 과정은 RL이 모델의 추론 능력을 자율적으로 개선하는 방법을 보여주는 흥미로운 예시입니다. 기본 모델에서 직접 RL을 시작함으로써, 저희는 지도 학습 미세 조정 단계의 영향 없이 모델의 진행 상황을 면밀히 관찰할 수 있습니다. 이 접근 방식은 특히 복잡한 추론 작업을 처리하는 능력 측면에서 모델이 시간이 지남에 따라 어떻게 진. 화하는지에 대한 명확한 시각을 제공합니다.

그림 3에 묘사된 바와 같이, DeepSeek-R1-Zero의 사고 시간은 일관된 개선을 보여줍니다.

[Figure 3 | RL 프로세스 중 학습 세트에서 DeepSeek-R1-Zero의 평균 응답 길이. DeepSeek-R1-Zero는 자연스럽게 더 많은 사고 시간을 사용하여 추론 작업을 해결하는 것을 학습합니다. X축은 단계, Y축은 평균 응답 길이를 나타냅니다.]

학습 프로세스 전반에 걸쳐 개선됩니다. 이 개선은 외부 조정의 결과가 아니라 모델 내의 내재적 발전입니다. DeepSeek-R1-Zero는 확장된 테스트 시간 계산을 활용하여 점점 더 복잡한 추론 작업을 해결하는 능력을 자연스럽게 획득합니다. 이 계산은 수백 개에서 수천 개의 추론 토큰을 생성하는 범위이며, 모델이 더 심층적으로 사고 과정을 탐색하고 개선할 수 있도록 합니다.

이러한 자가 진. 화의 가장 놀라운 측면 중 하나는 테스트 시간 계산이 증가함에 따라 정교한 행동이 나타나는 것입니다. 모델이 이전 단계를 재검토하고 재평가하는 성찰과 문제 해결에 대한 대안적 접근 방식의 탐색과 같은 행동이 자발적으로 발생합니다. 이러한 행동은 명시적으로 프로그래밍된 것이 아니라 강화 학습 환경과의 상호 작용의 결과로 나타납니다. 이러한 자발적인 발전은 DeepSeek-R1-Zero의 추론 능력을 크게 향상시켜 더 높은 효율성과 정확성으로 더 어려운 작업을 해결할 수 있도록 합니다.

DeepSeek-R1-Zero의 아하 모먼트 DeepSeek-R1-Zero 학습 중 관찰된 특히 흥미로운 현상은 "아하 모먼트"의 발생입니다. 표 3에 묘사된 바와 같이, 이 순간은 모델의 중간 버전에서 발생합니다. 이 단계에서 DeepSeek-R1-Zero는 초기 접근 방식을 재평가하여 문제에 더 많은 사고 시간을 할당하는 것을 학습합니다. 이 행동은 모델의 성장하는 추론 능력에 대한 증거일 뿐만 아니라 강화 학습이 예상치 못한 정교한 결과로 이어질 수 있는 방법을 보여주는 매혹적인 예시이기도 합니다.

이 순간은 모델뿐만 아니라 행동을 관찰하는 연구자들에게도 "아하 모먼트"입니다. 강화 학습의 힘과 아름다움을 강조합니다. 문제를 해결하는 방법을 명시적으로 가르치는 대신, 올바른 인센티브만 제공하면 자율적으로 발전된 문제 해결 전략을 개발합니다. "아하 모먼트"는 인공 지능 시스템에서 새로운 수준의 지능을 여는 RL의 잠재력을 강력하게 상기시켜주며, 미래에는 더욱 자율적이고 적응력이 뛰어난 모델을 위한 길을 열어줍니다.

[표 3 | DeepSeek-R1-Zero의 중간 버전의 흥미로운 "아하 모먼트". 모델은 의인화적 어조를 사용하여 다시 생각하는 것을 학습합니다. 이것은 강화 학습의 힘과 아름다움을 목격할 수 있게 해주는 저희에게도 아하 모먼트입니다.]

[질문: a > 1이면, √a – √a + x = x의 실수 해의 합은 얼마입니까?]

[응답: <think> √a – √a + x = x 방정식을 풀기 위해, 먼저 양변을 제곱하여 시작해 보겠습니다. ………

(√a-√a+x)^2 = x^2 ⇒ a-√a + x = x^2.

내부 제곱근 항을 분리하기 위해 재배열합니다.

(a – x^2)^2 = a + x ⇒ a^2 – 2ax^2 + (x^2)^2 = a + x

x^4 – 2ax^2 − x + (a^2 – a) = 0

잠깐, 잠깐. 잠깐. 여기서 아하 모먼트를 표시할 수 있습니다.

올바른 합이 될 수 있는지 확인하기 위해 이 단계를 단계별로 재평가해 보겠습니다. ………

다음 방정식으로 시작했습니다.

√a - √a + x = x

먼저 양변을 제곱해 보겠습니다.

a - √a + x = x^2 = √a + x = a − x^2

다음으로, 방정식을 처리하여 양변을 다시 제곱할 수 있습니다. …]

DeepSeek-R1-Zero의 단점 DeepSeek-R1-Zero는 강력한 추론 능력을 보여주고 예상치 못한 강력한 추론 행동을 자율적으로 개발하지만, 몇 가지 문제에 직면합니다. 예를 들어, DeepSeek-R1-Zero는 가독성 저하 및 언어 혼용과 같은 문제로 어려움을 겪습니다. 추론 프로세스를 더욱 읽기 쉽게 만들고 공개 커뮤니티와 공유하기 위해, 저희는 인간 친화적인 콜드 스타트 데이터를 사용하여 RL을 활용하는 방법인 DeepSeek-R1을 탐구합니다.

2.3. DeepSeek-R1: 콜드 스타트를 이용한 강화 학습

DeepSeek-R1-Zero의 유망한 결과에서 영감을 받아, 두 가지 자연스러운 질문이 생깁니다. 1) 소량의 고품질 데이터를 콜드 스타트로 통합하여 추론 성능을 더욱 개선하거나 수렴을 가속화할 수 있을까요? 2) 명확하고 일관된 연쇄적 사고(CoT)를 생성할 뿐만 아니라 강력한 일반적인 능력을 보여주는 사용자 친화적인 모델을 어떻게 학습시킬 수 있을까요? 이러한 질문에 답하기 위해, 저희는 DeepSeek-R1을 학습시키기 위한 파이프라인을 설계합니다. 파이프라인은 다음과 같이 4단계로 구성됩니다.

2.3.1. 콜드 스타트

DeepSeek-R1-Zero와 달리, 기본 모델에서 RL 학습의 초기 불안정한 콜드 스타트 단계를 방지하기 위해, DeepSeek-R1의 경우 긴 CoT 데이터 소량을 구성 및 수집하여 모델을 초기 RL 액터로 미세 조정합니다. 이러한 데이터를 수집하기 위해, 저희는 긴 CoT를 예시로 사용하여 퓨샷 프롬프팅, 성찰 및 검증을 통해 자세한 답변을 생성하도록 모델에 직접 프롬프팅, 가독성 있는 형식으로 DeepSeek-R1-Zero 출력을 수집, 인간 주석가의 후처리를 통해 결과를 개선하는 등 여러 접근 방식을 탐구했습니다.

본 연구에서는 DeepSeek-V3-Base를 RL의 시작점으로 미세 조정하기 위해 수천 개의 콜드 스타트 데이터를 수집합니다. DeepSeek-R1-Zero와 비교하여, 콜드 스타트 데이터의 장점은 다음과 같습니다:

- 가독성: DeepSeek-R1-Zero의 주요 한계점은 콘텐츠가 읽기에 적합하지 않은 경우가 많다는 것입니다. 응답은 여러 언어를 혼용하거나 사용자에게 답변을 강조하기 위한 마크다운 형식이 부족할 수 있습니다. 대조적으로, DeepSeek-R1용 콜드 스타트 데이터를 생성할 때, 저희는 각 응답 끝에 요약을 포함하고 읽기 쉽지 않은 응답을 필터링하는 가독성 있는 패턴을 설계합니다. 여기서 저희는 출력 형식을 | special_token | <reasoning_process> | special_token | <summary>로 정의합니다. 여기서 추론 프로세스는 쿼리에 대한 CoT이고, 요약은 추론 결과를 요약하는 데 사용됩니다.

- 잠재력: 인간 사전 지식을 사용하여 콜드 스타트 데이터에 대한 패턴을 신중하게 설계함으로써, DeepSeek-R1-Zero에 비해 더 나은 성능을 관찰합니다. 저희는 반복적인 학습이 추론 모델에 더 나은 방법이라고 믿습니다.

2.3.2. 추론 중심 강화 학습

콜드 스타트 데이터에서 DeepSeek-V3-Base를 미세 조정한 후, 저희는 DeepSeek-R1-Zero에 사용된 것과 동일한 대규모 강화 학습 프로세스를 적용합니다. 이 단계는 코딩, 수학, 과학 및 논리 추론과 같이 명확한 해답이 있는 잘 정의된 문제를 포함하는 추론 집약적인 작업에서 모델의 추론 능력을 향상시키는 데 중점을 둡니다. 학습 과정에서, 특히 RL 프롬프트가 여러 언어를 포함하는 경우 CoT가 언어 혼용을 자주 나타내는 것을 관찰합니다. 언어 혼용 문제를 완화하기 위해, 저희는 CoT에서 대상 언어 단어의 비율로 계산되는 RL 학습 중 언어 일관성 보상을 도입합니다. 절제 연구에 따르면 이러한 정렬로 인해 모델 성능이 약간 저하되지만, 이 보상은 인간 선호도에 부합하여 가독성을 높입니다. 마지막으로, 추론 작업의 정확성과 언어 일관성 보상을 직접 합산하여 최종 보상을 구성합니다. 그런 다음 미세 조정된 모델이 추론 작업에서 수렴에 도달할 때까지 RL 학습을 적용합니다.

2.3.3. 거부 샘플링 및 지도 학습 미세 조정

추론 중심 RL이 수렴되면, 결과 체크포인트를 활용하여 후속 라운드에 대한 SFT (지도 학습 미세 조정) 데이터를 수집합니다. 주로 추론에 중점을 둔 초기 콜드 스타트 데이터와 달리, 이 단계에서는 글쓰기, 역할극 및 기타 일반적인 목적 작업에서 모델의 능력을 향상시키기 위해 다른 도메인의 데이터를 통합합니다. 구체적으로, 저희는 아래에 설명된 대로 데이터를 생성하고 모델을 미세 조정합니다.

추론 데이터 저희는 위의 RL 학습에서 체크포인트에서 거부 샘플링을 수행하여 추론 프롬프트를 큐레이팅하고 추론 궤적을 생성합니다. 이전 단계에서는 규칙 기반 보상을 사용하여 평가할 수 있는 데이터만 포함했습니다. 그러나 이 단계에서는 일부 데이터가 DeepSeek-V3에 실제 정답 및 모델 예측을 입력하여 생성적 보상 모델을 사용하는 추가 데이터를 통합하여 데이터 세트를 확장합니다. 또한, 모델 출력이 때때로 혼란스럽고 읽기 어려울 수 있기 때문에, 저희는 혼합 언어, 긴 단락 및 코드 블록이 있는 연쇄적 사고를 필터링했습니다. 각 프롬프트에 대해 여러 응답을 샘플링하고 올바른 응답만 유지합니다. 총 60만 개 이상의 추론 관련 학습 샘플을 수집합니다.

비추론 데이터 글쓰기, 사실 기반 QA, 자기 인식 및 번역과 같은 비추론 데이터의 경우, DeepSeek-V3 파이프라인을 채택하고 DeepSeek-V3의 SFT 데이터 세트의 일부를 재사용합니다. 특정 비추론 작업의 경우, 프롬프팅하여 질문에 답변하기 전에 잠재적인 연쇄적 사고를 생성하도록 DeepSeek-V3를 호출합니다. 그러나 "안녕하세요"와 같은 간단한 쿼리의 경우, 응답에 CoT를 제공하지 않습니다. 결국, 추론과 관련 없는 총 약 20만 개의 학습 샘플을 수집했습니다.

위에서 큐레이팅한 약 80만 개의 데이터 세트를 사용하여 DeepSeek-V3-Base를 두 번의 에포크 동안 미세 조정합니다.

2.3.4. 모든 시나리오에 대한 강화 학습

모델을 인간 선호도에 더욱 맞추기 위해, 저희는 모델의 유용성과 무해함을 개선하는 동시에 추론 능력을 동시에 개선하는 것을 목표로 하는 보조 강화 학습 단계를 구현합니다. 구체적으로, 저희는 보상 신호와 다양한 프롬프트 분포의 조합을 사용하여 모델을 학습시킵니다. 추론 데이터의 경우, 수학, 코드 및 논리 추론 영역에서 학습 프로세스를 안내하기 위해 규칙 기반 보상을 활용하는 DeepSeek-R1-Zero에 설명된 방법론을 준수합니다. 일반 데이터의 경우, 복잡하고 미묘한 시나리오에서 인간 선호도를 캡처하기 위해 보상 모델에 의존합니다. DeepSeek-V3 파이프라인을 기반으로 구축하고 유사한 선호도 쌍 및 학습 프롬프트 분포를 채택합니다. 유용성의 경우, 최종 요약에만 전적으로 집중하여 평가가 기본 추론 프로세스를 방해하지 않으면서 사용자에 대한 응답의 유용성과 관련성을 강조하도록 합니다. 무해성의 경우, 생성 프로세스 중에 발생할 수 있는 잠재적인 위험, 편견 또는 유해 콘텐츠를 식별하고 완화하기 위해 추론 프로세스와 요약을 포함한 모델의 전체 응답을 평가합니다. 궁극적으로, 보상 신호와 다양한 데이터 분포의 통합을 통해 유용성과 무해성을 우선시하면서 추론에 뛰어난 모델을 학습시킬 수 있습니다.

2.4. 증류: 추론 능력을 갖춘 소형 모델 강화

DeepSeek-R1과 같은 추론 능력을 갖춘 보다 효율적인 소형 모델을 장착하기 위해, 저희는 Qwen (Qwen, 2024b) 및 Llama (AI@Meta, 2024)와 같은 오픈 소스 모델을 §2.3.3에 자세히 설명된 대로 DeepSeek-R1로 큐레이팅된 80만 개의 샘플을 사용하여 직접 미세 조정합니다. 저희의 연구 결과는 이 간단한 증류 방법이 소형 모델의 추론 능력을 크게 향상시킨다는 것을 나타냅니다. 여기서 사용하는 기본 모델은 Qwen2.5-Math-1.5B, Qwen2.5-Math-7B, Qwen2.5-14B, Qwen2.5-32B, Llama-3.1-8B 및 Llama-3.3-70B-Instruct입니다. Llama-3.1보다 추론 능력이 약간 더 뛰어나기 때문에 Llama-3.3을 선택합니다.

증류된 모델의 경우, RL을 통합하면 모델 성능을 크게 향상시킬 수 있지만 SFT만 적용하고 RL 단계를 포함하지 않습니다. 여기서 저희의 주요 목표는 증류 기술의 효과를 입증하는 것이며, RL 단계의 탐구는 더 광범위한 연구 커뮤니티에 맡깁니다.

3. 실험

벤치마크 저희는 MMLU (Hendrycks 외., 2020), MMLU-Redux (Gema 외., 2024), MMLU-Pro (Wang 외., 2024), C-Eval (Huang 외., 2023) 및 CMMLU (Li 외., 2023), IFEval (Zhou 외., 2023), FRAMES (Krishna 외., 2024), GPQA Diamond (Rein 외., 2023), SimpleQA (OpenAI, 2024c), C-SimpleQA (He 외., 2024), SWE-Bench Verified (OpenAI, 2024d), Aider¹, LiveCodeBench (Jain 외., 2024) (2024-08 – 2025-01), Codeforces², Chinese National High School Mathematics Olympiad (CNMO 2024)³ 및 American Invitational Mathematics Examination 2024 (AIME 2024) (MAA, 2024)에서 모델을 평가합니다. 표준 벤치마크 외에도, LLM을 심판으로 사용하여 개방형 생성 작업에서 모델을 평가합니다. 구체적으로, AlpacaEval 2.0 (Dubois 외., 2024) 및 Arena-Hard (Li 외., 2024)의 원래 구성 (쌍별 비교를 위한 심판으로 GPT-4-Turbo-1106 활용)을 준수합니다. 여기서 길이 편향을 피하기 위해 최종 요약만 평가에 사용합니다. 증류된 모델의 경우, AIME 2024, MATH-500, GPQA Diamond, Codeforces 및 LiveCodeBench에 대한 대표적인 결과를 보고합니다.

평가 프롬프트 DeepSeek-V3의 설정에 따라, MMLU, DROP, GPQA Diamond 및 SimpleQA와 같은 표준 벤치마크는 simple-evals 프레임워크의 프롬프트를 사용하여 평가됩니다. MMLU-Redux의 경우, 제로샷 설정에서 Zero-Eval 프롬프트 형식 (Lin, 2024)을 채택합니다. MMLU-Pro, C-Eval 및 CLUE-WSC의 경우, 원래 프롬프트가 퓨샷이기 때문에 프롬프트를 제로샷 설정으로 약간 수정합니다. 퓨샷의 CoT는 DeepSeek-R1의 성능을 저해할 수 있습니다. 다른 데이터 세트는 작성자가 제공한 기본 프롬프트와 함께 원래 평가 프로토콜을 따릅니다. 코드 및 수학 벤치마크의 경우, HumanEval-Mul 데이터 세트는 8개의 주요 프로그래밍 언어 (Python, Java, C++, C#, JavaSc ript, TypeS cript, PHP 및 Bash)를 다룹니다. LiveCodeBench의 모델 성능은 2024년 8월과 2025년 1월 사이에 수집된 데이터와 함께 CoT 형식을 사용하여 평가됩니다. Codeforces 데이터 세트는 전문가가 제작한 테스트 케이스와 함께 10개의 Div.2 대회 문제를 사용하여 평가되며, 그 후 예상 등급과 경쟁자 백분율이 계산됩니다. SWE-Bench 검증된 결과는 에이전트리스 프레임워크 (Xia 외., 2024)를 통해 얻습니다. AIDER 관련 벤치마크는 "diff" 형식을 사용하여 측정됩니다. DeepSeek-R1 출력은 각 벤치마크에 대해 최대 32,768 토큰으로 제한됩니다.

기준선 DeepSeek-V3, Claude-Sonnet-3.5-1022, GPT-40-0513, OpenAI-01-mini 및 OpenAI-01-1217을 포함한 여러 강력한 기준선에 대해 포괄적인 평가를 수행합니다. 중국 본토에서 OpenAI-01-1217 API에 액세스하는 것이 어렵기 때문에, 공식 보고서를 기반으로 성능을 보고합니다. 증류된 모델의 경우, 오픈 소스 모델 QwQ-32B-Preview (Qwen, 2024a)와도 비교합니다.

평가 설정 모델의 최대 생성 길이를 32,768 토큰으로 설정합니다. 탐욕적 디코딩을 사용하여 긴 출력 추론 모델을 평가하면 다양한 체크포인트에서 높은 반복률과 상당한 가변성이 발생한다는 것을 발견했습니다. 따라서 기본적으로 pass@k 평가 (Chen 외., 2021)를 사용하고 비제로 온도를 사용하여 pass@1을 보고합니다. 구체적으로, 질문당 k개의 응답 (일반적으로 테스트 세트 크기에 따라 4~64개)을 생성하기 위해 0.6의 샘플링 온도와 0.95의 상위 p 값을 사용합니다. pass@1은 다음과 같이 계산됩니다.

여기서 p_i는 i번째 응답의 정확성을 나타냅니다. 이 방법은 보다 신뢰할 수 있는 성능 추정치를 제공합니다. AIME 2024의 경우, 64개의 샘플을 사용하여 합의 (다수결 투표) 결과 (Wang 외., 2022)를 cons@64로 표시하여 보고합니다.

¹https://aider.chat

²https://codeforces.com

³https://www.cms.org.cn/Home/comp/comp/cid/12.html

3.1. DeepSeek-R1 평가

[표 4 | DeepSeek-R1과 다른 대표 모델 비교.]

교육 중심 지식 벤치마크 (MMLU, MMLU-Pro 및 GPQA Diamond)의 경우, DeepSeek-R1은 DeepSeek-V3보다 뛰어난 성능을 보여줍니다. 이러한 개선은 주로 STEM 관련 질문에서 향상된 정확도에 기인하며, 대규모 강화 학습을 통해 상당한 성과를 거둡니다. 또한, DeepSeek-R1은 긴 문맥 의존형 QA 작업인 FRAMES에서 뛰어난 성능을 보여 문서 분석 능력이 뛰어납니다. 이는 AI 기반 검색 및 데이터 분석 작업에서 추론 모델의 잠재력을 강조합니다. 사실 기반 벤치마크 SimpleQA에서 DeepSeek-R1은 DeepSeek-V3보다 뛰어난 성능을 보여 사실 기반 쿼리를 처리하는 능력을 입증합니다. OpenAI-01이 이 벤치마크에서 GPT-40을 능가하는 유사한 추세가 관찰됩니다. 그러나 DeepSeek-R1은 안전 RL 이후 특정 쿼리에 대한 답변을 거부하는 경향으로 인해 중국어 SimpleQA 벤치마크에서 DeepSeek-V3보다 성능이 떨어집니다. 안전 RL이 없으면 DeepSeek-R1은 70% 이상의 정확도를 달성할 수 있습니다.

DeepSeek-R1은 형식 지침을 따르는 모델의 능력을 평가하도록 설계된 벤치마크인 IF-Eval에서도 인상적인 결과를 제공합니다. 이러한 개선은 최종 단계의 지도 학습 미세 조정(SFT) 및 RL 학습 중 지침 따르기 데이터 포함과 관련이 있을 수 있습니다. 또한, AlpacaEval 2.0 및 ArenaHard에서 놀라운 성능이 관찰되어 DeepSeek-R1의 글쓰기 작업 및 개방형 질문 답변 능력이 입증되었습니다. DeepSeek-V3보다 훨씬 뛰어난 성능은 추론 능력을 향상시킬 뿐만 아니라 다양한 도메인에서 성능을 향상시키는 대규모 RL의 일반화 이점을 강조합니다. 또한, DeepSeek-R1에서 생성된 요약 길이는 간결하며, ArenaHard에서는 평균 689 토큰, AlpacaEval 2.0에서는 2,218자입니다. 이는 다음을 나타냅니다.

DeepSeek-R1은 GPT 기반 평가 중 길이 편향을 유발하지 않아 여러 작업에서 견고성을 더욱 공고히 합니다.

수학 작업에서 DeepSeek-R1은 OpenAI-01-1217과 동등한 성능을 보여주며, 다른 모델보다 큰 차이로 뛰어넘습니다. 유사한 추세가 LiveCodeBench 및 Codeforces와 같은 코딩 알고리즘 작업에서 관찰되며, 여기서 추론 중심 모델이 이러한 벤치마크를 지배합니다. 엔지니어링 중심 코딩 작업에서 OpenAI-01-1217은 Aider에서 DeepSeek-R1보다 성능이 뛰어나지만 SWE Verified에서는 비슷한 성능을 달성합니다. 관련 RL 학습 데이터의 양이 현재 매우 제한적이므로 DeepSeek-R1의 엔지니어링 성능은 다음 버전에서 향상될 것이라고 믿습니다.

3.2. 증류된 모델 평가

[표 5 | DeepSeek-R1 증류 모델과 기타 유사 모델의 추론 관련 벤치마크 비교.]

표 5에 표시된 바와 같이, DeepSeek-R1의 출력을 단순히 증류하면 효율적인 DeepSeek-R1-7B (즉, DeepSeek-R1-Distill-Qwen-7B, 아래에서 약어로 표시)가 GPT-40-0513과 같은 비추론 모델보다 전반적으로 뛰어난 성능을 발휘할 수 있습니다. DeepSeek-R1-14B는 모든 평가 지표에서 QwQ-32B-Preview를 능가하는 반면, DeepSeek-R1-32B 및 DeepSeek-R1-70B는 대부분의 벤치마크에서 o1-mini를 크게 능가합니다. 이러한 결과는 증류의 강력한 잠재력을 보여줍니다. 또한, 이러한 증류된 모델에 RL을 적용하면 상당한 추가 이점을 얻을 수 있다는 것을 발견했습니다. 이는 추가 탐구가 필요하다고 믿으며, 따라서 여기서는 간단한 SFT 증류 모델의 결과만 제시합니다.

4. 논의

4.1. 증류 대 강화 학습

섹션 3.2에서 DeepSeek-R1을 증류함으로써 소형 모델이 인상적인 결과를 달성할 수 있음을 알 수 있습니다. 그러나 여전히 한 가지 질문이 남아 있습니다. 모델이 증류 없이 본 논문에서 논의된 대규모 RL 학습을 통해 비슷한 성능을 달성할 수 있을까요?

이 질문에 답하기 위해, 저희는 수학, 코드 및 STEM 데이터를 사용하여 Qwen-32B-Base에 대한 대규모 RL 학습을 수행하고, 1만 단계 이상 학습하여 DeepSeek-R1-Zero-Qwen-32B를 얻습니다. 표 6에 표시된 실험 결과는 대규모 학습 후 32B 기본 모델이

[표 6 | 증류된 모델과 RL 모델의 추론 관련 벤치마크 비교.]

RL 학습은 QwQ-32B-Preview와 비슷한 성능을 달성한다는 것을 보여줍니다. 그러나 DeepSeek-R1에서 증류된 DeepSeek-R1-Distill-Qwen-32B는 모든 벤치마크에서 DeepSeek-R1-Zero-Qwen-32B보다 훨씬 뛰어난 성능을 보입니다.

따라서 두 가지 결론을 내릴 수 있습니다. 첫째, 더 강력한 모델을 더 작은 모델로 증류하면 뛰어난 결과를 얻을 수 있는 반면, 본 논문에서 언급된 대규모 RL에 의존하는 더 작은 모델은 막대한 컴퓨팅 파워가 필요하며 증류 성능조차 달성하지 못할 수 있습니다. 둘째, 증류 전략은 경제적이고 효과적이지만, 지능의 경계를 뛰어넘는 데는 여전히 더 강력한 기본 모델과 대규모 강화 학습이 필요할 수 있습니다.

4.2. 실패한 시도

DeepSeek-R1을 개발하는 초기 단계에서, 저희는 실패와 좌절을 겪었습니다. 여기에서 실패 경험을 공유하여 통찰력을 제공하지만, 이러한 접근 방식이 효과적인 추론 모델을 개발할 수 없다는 것을 의미하는 것은 아닙니다.

프로세스 보상 모델 (PRM) PRM은 추론 작업 해결을 위한 더 나은 접근 방식을 향하도록 모델을 안내하는 합리적인 방법입니다 (Lightman 외., 2023; Uesato 외., 2022; Wang 외., 2023). 그러나 실제로 PRM에는 궁극적인 성공을 저해할 수 있는 세 가지 주요 제한 사항이 있습니다. 첫째, 일반적인 추론에서 미세한 단계 단계를 명시적으로 정의하는 것은 어렵습니다. 둘째, 현재 중간 단계가 올바른지 여부를 결정하는 것은 어려운 작업입니다. 모델을 사용한 자동 주석은 만족스러운 결과를 얻지 못할 수 있으며, 수동 주석은 확장에 도움이 되지 않습니다. 셋째, 모델 기반 PRM이 도입되면 필연적으로 보상 해킹 (Gao 외., 2022)으로 이어지며, 보상 모델을 재학습하려면 추가 학습 리소스가 필요하고 전체 학습 파이프라인이 복잡해집니다. 결론적으로, PRM은 모델에서 생성된 상위 N개 응답을 재정렬하거나 안내 검색을 지원하는 데 좋은 능력을 보여주지만 (Snell 외., 2024), 장점은 실험에서 대규모 강화 학습 프로세스 중에 도입되는 추가 컴퓨팅 오버헤드에 비해 제한적입니다.

몬테카를로 트리 검색 (MCTS) AlphaGo (Silver 외., 2017b) 및 AlphaZero (Silver 외., 2017a)에서 영감을 받아, 저희는 테스트 시간 컴퓨팅 확장성을 향상시키기 위해 몬테카를로 트리 검색 (MCTS)을 사용하는 것을 탐구했습니다. 이 접근 방식은 답변을 더 작은 부분으로 나누어 모델이 솔루션 공간을 체계적으로 탐색할 수 있도록 합니다. 이를 용이하게 하기 위해, 저희는 모델이 검색에 필요한 특정 추론 단계를 나타내는 여러 태그를 생성하도록 프롬프트합니다. 학습을 위해, 먼저 수집된 프롬프트를 사용하여 사전 학습된 가치 모델의 안내를 받아 MCTS를 통해 답변을 찾습니다. 이후 결과 질문-답변 쌍을 사용하여 액터 모델과 가치 모델을 모두 학습시켜 프로세스를 반복적으로 개선합니다.

그러나 이 접근 방식은 학습을 확장할 때 몇 가지 문제에 직면합니다. 첫째, 검색 공간이 비교적 잘 정의된 체스와 달리, 토큰 생성은

기하급수적으로 더 큰 검색 공간을 나타냅니다. 이를 해결하기 위해 각 노드에 최대 확장 제한을 설정하지만, 이로 인해 모델이 로컬 최적값에 갇힐 수 있습니다. 둘째, 가치 모델은 검색 프로세스의 각 단계를 안내하므로 생성 품질에 직접적인 영향을 미칩니다. 세분화된 가치 모델을 학습하는 것은 본질적으로 어렵기 때문에 모델을 반복적으로 개선하기가 어렵습니다. AlphaGo의 핵심 성공은 가치 모델을 학습시켜 성능을 점진적으로 향상시키는 데 의존했지만, 토큰 생성의 복잡성으로 인해 이 원칙을 저희 설정에서 복제하기가 어렵다는 것이 입증되었습니다.

결론적으로, MCTS는 사전 학습된 가치 모델과 함께 사용할 때 추론 중 성능을 향상시킬 수 있지만, 자체 검색을 통해 모델 성능을 반복적으로 향상시키는 것은 여전히 중요한 과제입니다.

5. 결론, 한계 및 향후 연구

본 연구에서는 강화 학습을 통해 모델 추론 능력을 향상시키는 여정을 공유합니다. DeepSeek-R1-Zero는 콜드 스타트 데이터에 의존하지 않고 순수 RL 접근 방식을 나타내며, 다양한 작업에서 강력한 성능을 달성합니다. DeepSeek-R1은 콜드 스타트 데이터와 반복적인 RL 미세 조정을 활용하여 더욱 강력합니다. 궁극적으로, DeepSeek-R1은 다양한 작업에서 OpenAI-01-1217과 견줄 만한 성능을 달성합니다.

저희는 작은 밀집 모델로 추론 능력을 증류하는 것을 추가로 탐구합니다. DeepSeek-R1을 교사 모델로 사용하여 80만 개의 학습 샘플을 생성하고, 여러 개의 작은 밀집 모델을 미세 조정합니다. 결과는 유망합니다. DeepSeek-R1-Distill-Qwen-1.5B는 AIME에서 28.9%, MATH에서 83.9%로 수학 벤치마크에서 GPT-40 및 Claude-3.5-Sonnet보다 뛰어난 성능을 보입니다. 다른 밀집 모델도 인상적인 결과를 달성하여 동일한 기본 체크포인트를 기반으로 하는 다른 지침 조정 모델보다 훨씬 뛰어난 성능을 보입니다.

향후 DeepSeek-R1의 다음 방향에 대한 연구에 투자할 계획입니다.

- 일반적인 능력: 현재 DeepSeek-R1의 능력은 함수 호출, 다중 턴, 복잡한 역할극 및 JSON 출력과 같은 작업에서 DeepSeek-V3에 미치지 못합니다. 앞으로 이러한 분야에서 작업을 향상시키기 위해 긴 CoT를 활용하는 방법을 탐구할 계획입니다.

- 언어 혼용: DeepSeek-R1은 현재 중국어와 영어에 최적화되어 있으며, 이로 인해 다른 언어로 쿼리를 처리할 때 언어 혼용 문제가 발생할 수 있습니다. 예를 들어, 쿼리가 영어 또는 중국어 이외의 언어인 경우에도 DeepSeek-R1은 추론 및 응답에 영어를 사용할 수 있습니다. 향후 업데이트에서 이 제한 사항을 해결하는 것을 목표로 합니다.

- 프롬프트 엔지니어링: DeepSeek-R1을 평가할 때, 프롬프트에 민감하다는 것을 관찰합니다. 퓨샷 프롬프트는 일관되게 성능을 저하시킵니다. 따라서 사용자는 최적의 결과를 위해 제로샷 설정을 사용하여 문제를 직접 설명하고 출력 형식을 지정하는 것이 좋습니다.

- 소프트웨어 엔지니어링 작업: RL 프로세스의 효율성에 영향을 미치는 긴 평가 시간으로 인해, 대규모 RL은 소프트웨어 엔지니어링 작업에 광범위하게 적용되지 않았습니다. 결과적으로, DeepSeek-R1은 소프트웨어 엔지니어링 벤치마크에서 DeepSeek-V3보다 큰 개선을 보여주지 못했습니다. 향후 버전에서는 소프트웨어 엔지니어링 데이터에 대한 거부 샘플링을 구현하거나 RL 프로세스 중에 비동기 평가를 통합하여 이를 해결할 것입니다.

참고 문헌

AI@Meta. Llama 3 model card, 2024. URL https://github.com/meta-llama/llama-3

/blob/main/model_cards/Llama3_1/MODEL_CARD.md.

Anthropic. Claude 3.5 sonnet, 2024. URL https://www.anthropic.com/news/claude-3

-5-sonnet.

M. Chen, J. Tworek, H. Jun, Q. Yuan, H. P. de Oliveira Pinto, J. Kaplan, H. Edwards, Y. Burda,

N. Joseph, G. Brockman, A. Ray, R. Puri, G. Krueger, M. Petrov, H. Khlaaf, G. Sastry, P. Mishkin,

B. Chan, S. Gray, N. Ryder, M. Pavlov, A. Power, L. Kaiser, M. Bavarian, C. Winter, P. Tillet,

F. P. Such, D. Cummings, M. Plappert, J. Chantzis, E. Barnes, A. Herbert-Voss, W. H. Guss,

N. Nichol, L. Painchaud, N. Tezak, J. Tang, I. Babuschkin, S. Balaji, S. Jain, W. Saunders, C. Hesse,

A. N. Carr, J. Leike, J. Achiam, V. Misra, E. Morikawa, A. Radford, M. Knight, R. Brundage,

M. Murati, K. Mayer, P. Welinder, B. McGrew, D. Amodei, S. McCandlish, I. Sutskever, 및

Z. Zaremba. Evaluating large language models trained on code. CoRR, abs/2107.03374, 2021. URL https://arxiv.org/abs/2107.03374.

A. Dubey, A. Jauhri, A. Pandey, A. Kadian, A. Al-Dahle, A. Letman, A. Mathur, A. Schelten,

A. Yang, A. Fan, et al. The llama 3 herd of models. arXiv preprint arXiv:2407.21783, 2024.

Y. Dubois, B. Galabrese, P. Liang, 및 T. B. Hashimoto. Length-controlled alpacaeval: A simple

way to debias automatic evaluators. arXiv preprint arXiv:2404.04475, 2024.

X. Feng, Z. Wan, M. Wen, S. M. McAleer, Y. Wen, W. Zhang, 및 J. Wang. Alphazero-like

tree-search can guide large language model decoding and training, 2024. URL https:

//arxiv.org/abs/2309.17179.

L. Gao, J. Schulman, 및 J. Hilton. Scaling laws for reward model overoptimization, 2022. URL https://arxiv.org/abs/2210.10760.

A. P. Gema, J. O. Leang, G. Hong, A. Devkota, A. C. M. Mancino, R. Saxena, X. He, Y. Zhao,

X. Du, M. R. G. Madotto, C. Bareiss, R. McCarthy, J. Harris, J. Kaddour, E. van Krieken, 및

Y. Belinkov. Are we done with mmlu? CoRR, abs/2406.04127, 2024. URL https://doi.or

g/10.48550/arXiv.2406.04127 .

Google. Our next-generation model: Gemini 1.5, 2024. URL https://blog.google/techno

logy/ai/google-gemini-next-generation-model-february-2024/.

Y. He, S. Li, J. Liu, Y. Tan, W. Wang, H. Huang, X. Bu, H. Guo, C. Hu, B. Zheng, et al. Chi

nese simpleqa: A chinese factuality evaluation for large language models. arXiv preprint

arXiv:2411.07140, 2024.

D. Hendrycks, C. Burns, S. Basart, A. Zou, M. Mazeika, D. Song, 및 J. Steinhardt. Measuring

massive multitask language understanding. arXiv preprint arXiv:2009.03300, 2020.

Y. Huang, Y. Bai, Z. Zhu, J. Zhang, J. Zhang, T. Su, J. Liu, C. Lv, Y. Zhang, J. Lei, et al. C-Eval: A

multi-level multi-discipline chinese evaluation suite for foundation models. arXiv preprint

arXiv:2305.08322, 2023.

N. Jain, K. Han, A. Gu, W. Li, F. Yan, T. Zhang, S. Wang, A. Solar-Lezama, K. Sen, 및 I. Stoica.

Livecodebench: Holistic and contamination free evaluation of large language models for code.

CoRR, abs/2403.07974, 2024. URL https://doi.org/10.48550/arXiv.2403.07974.

S. Krishna, K. Krishna, A. Mohananey, S. Schwarcz, A. Stambler, S. Upadhyay, 및 M. Faruqui.

Fact, fetch, and reason: A unified evaluation of retrieval-augmented generation. CoRR,

abs/2409.12941, 2024. doi: 10.48550/ARXIV.2409.12941. URL https://doi.org/10.485

50/arXiv.2409.12941.

A. Kumar, V. Zhuang, R. Agarwal, Y. Su, J. D. Co-Reyes, A. Singh, K. Baumli, S. Iqbal, C. Bishop,

R. Roelofs, et al. Training language models to self-correct via reinforcement learning. arXiv

preprint arXiv:2409.12917, 2024.

H. Li, Y. Zhang, F. Koto, Y. Yang, H. Zhao, Y. Gong, N. Duan, 및 T. Baldwin. CMMLU: Measur

ing massive multitask language understanding in Chinese. arXiv preprint arXiv:2306.09212,

2023.

T. Li, W.-L. Chiang, E. Frick, L. Dunlap, T. Wu, B. Zhu, J. E. Gonzalez, 및 I. Stoica. From

crowdsourced data to high-quality benchmarks: Arena-hard and benchbuilder pipeline. arXiv

preprint arXiv:2406.11939, 2024.

H. Lightman, V. Kosaraju, Y. Burda, H. Edwards, B. Baker, T. Lee, J. Leike, J. Schulman,

I. Sutskever, 및 K. Cobbe. Let's verify step by step. arXiv preprint arXiv:2305.20050, 2023.

B. Y. Lin. ZeroEval: A Unified Framework for Evaluating Language Models, 2024년 7월. URL

https://github.com/WildEval/ZeroEval.

MAA. American invitational mathematics examination - aime. In American Invitational

Mathematics Examination - AIME 2024, 2024년 2월. URL https://maa.org/math

-competitions/american-invitational-mathematics-examination-aime.

OpenAI. Hello GPT-4o, 2024a. URL https://openai.com/index/hello-gpt-4o/.

OpenAI. Learning to reason with llms, 2024b. URL https://openai.com/index/learnin

g-to-reason-with-llms/.

OpenAI. Introducing SimpleQA, 2024c. URL https://openai.com/index/introducing

-simpleqa/.

OpenAI. Introducing SWE-bench verified we're releasing a human-validated subset of swe

bench that more, 2024d. URL https://openai.com/index/introducing-swe-bench

-verified/.

Qwen. Qwq: Reflect deeply on the boundaries of the unknown, 2024a. URL https://qwenlm

.github.io/blog/qwq-32b-preview/.

Qwen. Qwen2.5: A party of foundation models, 2024b. URL https://qwenlm.github.io/b

log/qwen2.5.

D. Rein, B. L. Hou, A. C. Stickland, J. Petty, R. Y. Pang, J. Dirani, J. Michael, 및 S. R. Bowman.

GPQA: A graduate-level google-proof q&a benchmark. arXiv preprint arXiv:2311.12022, 2023.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, M. Zhang, Y. Li, Y. Wu, 및 D. Guo. Deepseekmath:

Pushing the limits of mathematical reasoning in open language models. arXiv preprint

arXiv:2402.03300, 2024.

D. Silver, T. Hubert, J. Schrittwieser, I. Antonoglou, M. Lai, A. Guez, M. Lanctot, L. Sifre,

D. Kumaran, T. Graepel, T. P. Lillicrap, K. Simonyan, 및 D. Hassabis. Mastering chess and

shogi by self-play with a general reinforcement learning algorithm. CoRR, abs/1712.01815,

2017a. URL http://arxiv.org/abs/1712.01815.

D. Silver, J. Schrittwieser, K. Simonyan, I. Antonoglou, A. Huang, A. Guez, T. Hubert, L. Baker,

M. Lai, A. Bolton, Y. Chen, T. P. Lillicrap, F. Hui, L. Sifre, G. van den Driessche, T. Graepel, 및

D. Hassabis. Mastering the game of go without human knowledge. Nat., 550(7676):354–359,

2017b. doi: 10.1038/NATURE24270. URL https://doi.org/10.1038/nature24270.

C. Snell, J. Lee, K. Xu, 및 A. Kumar. Scaling llm test-time compute optimally can be more

effective than scaling model parameters, 2024. URL https://arxiv.org/abs/2408.033

14.

T. Trinh, Y. Wu, Q. Le, H. He, 및 T. Luong. Solving olympiad geometry without human

demonstrations. Nature, 2024. doi: 10.1038/s41586-023-06747-5.

J. Uesato, N. Kushman, R. Kumar, F. Song, N. Siegel, L. Wang, A. Creswell, G. Irving, 및

I. Higgins. Solving math word problems with process-and outcome-based feedback. arXiv

preprint arXiv:2211.14275, 2022.

P. Wang, L. Li, Z. Shao, R. Xu, D. Dai, Y. Li, D. Chen, Y. Wu, 및 Z. Sui. Math-shepherd: A label-

free step-by-step verifier for llms in mathematical reasoning. arXiv preprint arXiv:2312.08935,

2023.

X. Wang, J. Wei, D. Schuurmans, Q. Le, E. Chi, S. Narang, A. Chowdhery, 및 D. Zhou.

Self-consistency improves chain of thought reasoning in language models. arXiv preprint

arXiv:2203.11171, 2022.

Y. Wang, X. Ma, G. Zhang, Y. Ni, A. Chandra, S. Guo

[익명(58.120)]

논문추

[디시콘발사대(fcbjsjmu1t9f)]

[뱀고기(jinhyunge)]

아무리 봐도 구글에서 안해봤는지 의문이 드네

[콜라조무사(tkatjdrhdghkrnr123)]

의외로 지들 llm 만들어오던 방식 계속 연구하느라 안해봤을수도 있을듯.

[디시콘발사대(fcbjsjmu1t9f)]

챗GPT 출시 당시를 생각해보면..

[콜라조무사(tkatjdrhdghkrnr123)]

개추

[Borazine(player4081)]

[익명(cideraction)]

유익하다.

[라익(v8159841v)]

흠... 구글은 범부였는가 - dc App

[GPT4-o3(nagosuragosibal)]