[📪정보] 딥시크 R1이 OpenAI급 추론 모델을 존나 효율적으로 만든 방법

[MGMG(fork5938)]

레딧 원문

Blocked

딥시크-R1은 대체 어떻게 오픈AI 급 추론 모델을 존나 효율적으로 만든 걸까?

최근 딥시크-R1 떡밥에 다들 난리던데? 걔네 모델이 추론 테스트에서 오픈AI o1 시리즈랑 맞짱뜨거나 심지어 이기기도 한다고. 파라미터는 적게 쓰고 비용도 훨씬 절약하면서 말임. 그래서 나도 뒤져봤음—대체 뭔 수를 쓴 거지?  

난 완전 쪼렙은 아니라서 어려운 개념도 쉽게 설명해볼게. 

단, 주의 : 나는 그냥 ML 덕후 개발자일 뿐이고, 딥시크랑 일절 무관함. 걔네 논문 뒤적거린 거 공유하는 거니까 참고해!  

그래서 비법 레시피가 뭐냐고? 강화학습(RL)을 존나게 잘 쓴 거임

보통 언어 모델은 사전 학습 → SFT(감독 미세조정) → RL 약간 조합으로 만들잖아. 근데 딥시크는 보법이 다름. 강화학습(RL)만으로도 추론이 가능하다는 걸 증명해버림.  

✅ 딥시크-R1-Zero: 순수 강화학습(RL) 모델

얘들은 라벨링된 데이터 없이 강화학습(RL)만으로 추론을 배운 모델을 만들었다고! 초기 감독 학습 없이, 시행착오로 추론 기술을 익힌 거지. 즉, 모델이 보상을 통해 답변을 조정하면서 스스로 추론하는 법을 배운 거임.  

특히 자기 진화 기능(self-evolving)도 있었음. 이전 사고 단계를 활용해 점점 발전하는 방식.  

✅ 딥시크-R1: 개쩌는 최적화 파이프라인

근데 R1-Zero는 언어가 뒤섞이거나, 출력이 개판인 문제가 있었음. 그래서 단계별로 존버하면서 업그레이드함:  

1. 콜드 스타트 미세조정(Cold Start Fine-Tuning):  

  고품질 데이터셋(CoT 예시 + 가독성 갑)으로 추론 기초를 다짐. "야 이렇게 생각해라" 하고 알려준 셈.  

  * Cot : Chain-of-Thgouht (생각의 사슬)

  * 콜드 스타트 미세조정이란?

     -- 아무것도 모르는 애한테 기초부터 차근차근 가르치는 단계.  

     — 예: 수학 문제 풀 때, "이렇게 풀어봐" 하면서 기본 공식과 풀이법을 알려주는 것.   

2. 추론 중심 강화학습(RL)

  수학/코딩 같은 분야 추론을 RL로 개선. 여기에 "언어 일관성 보상" 추가함. 중간에 한영 뒤섞이면 패널티 주고, 인간이 읽을 수 있게 강제함 ㅋㅋ  

  * 추론 중심 강화학습이란?

     — "기초는 알겠으니 이제 실전 연습하면서 실력 키우는 단계."  

     — 예: 수학 문제를 더 많이 풀면서, 틀리면 피드백 주고 맞으면 칭찬해주는 것.  

3. 리젝션 샘플링 + SFT(Supervised Fine-Tuning, 감독 미세조정)

  RL로 대량 데이터셋 만들어서 다른 분야 능력도 흡수. 

  * 리젝션 샘플링+SFT

    — 맛집 탐방하면서, 맛없는 건 버리고 맛있는 메뉴만 골라서 그걸로 요리 레시피를 완성하는 단계."  

  예: 여러 음식점을 돌아다니면서, 맛없는 건 건너뛰고 맛있는 메뉴만 골라서 그걸로 나만의 요리 레시피를 만드는 것.   

4. 두 번째 RL 단계  

  최종적으로 성능과 정렬(Alignment)을 극대화함.  

  * 두 번째 RL 단계 (Second RL Phase)

    -- "마지막으로 실전 시험 전, 최종 점검하면서 완벽하게 다듬는 단계."  

    — 예: 수능 전, 모든 유형을 다시 한 번 검토하고 약점을 보완하는 것.  

결론: 단순히 데이터 던져주고 기도하는 게 아님

딥시크는 여러 단계를 거치며 모델이 추론 머신으로 성장하도록 유도했음. 그냥 RL 한 번 돌린 게 아니라 반복적 최적화를 했다는 거지.  

이제 이해했겠지만, 딥시크-R1이 파라미터 적게 먹으면서도 적수들 발라버리는 이유는 다 여기에 있음.  

[익명(202.14)]

이게 사실이면 재귀적 자기발전도 진짜 가까워진것 같은데

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

이미 RL자체가 재귀발전이나 마찬가지임

[익명(perform4782)]

이게 구글이 하려던거같음.

[익명(124.54)]

RL원툴 구글... 달려야겠지?

[디시콘발사대(fcbjsjmu1t9f)]

[익명(112.152)]

진짜 보법이 다르네

[GPT4-o3(nagosuragosibal)]

[익명(112.148)]

결국 oai는 경쟁 빡셔지는거구 오히려 팔란티어는 자기길 그대로 갈듯 ㅇㅇ

[뱀고기(jinhyunge)]

딥마인드 나와

[익명(amazonia)]

자기 지인화 기능? 이건 재귀개선 아니냐?

[익명(install8335)]

아직은 사람이 개입해야 하는 부분이 많네

[익명(kist1212)]

글진짜 잘썻고 좋앗음 다읽고나서 든 질문이 그냥 원래 챗지피티랑 똑같은데? 뭐가다르다는거임.. 학부생수준이고 잘몰라서 물어보는거니 불쾌햇으면 미안함 순수강화학습은 원래도잇던거라 막창의적인거같진안고 두번째요소 파이프라인에서 뭔가 특별한 기술을 쓴것같은데 그것도 원래 잇던것들이라 뭐가 차별점인지 잘모르겟음 그냥 최적화를 잘한것같음

[익명(kist1212)]

요약하면 결국 최적화를 여러번 돌리면서 강화학습한거란건데 이게 막 창의적인 방법같지는않은데

[Ausus2(chess237)]

장점은 비용절감 아님? gpt 학습비용에 거의 5%수준이라는데 - dc App

[익명(kist1212)]

ㅇㅇ 근데 내가 막 뭔가 거창하고 혁신적인걸 너무 기대한듯 사실 최적화싸움이긴하지...

[초존도초(htr3c654r6ft)]

원래 있던 것들 갖다 다 썼고 차별점을 아무것도 모르겠으면 왜 이제껏 이런 모델이 안 나왔는지를 살펴보면됨

[익명(kist1212)]

왜안나온건데?

[Bqbq(bumkyu00)]

R1은 openai를 제외하고 (제대로 된) 강화학습을 처음으로 LLM에 접목시킨 첫 사례임

[Bqbq(bumkyu00)]

별개로 R1이 대단한 점은 경량화와 최적화를 굉장히 빡세게 했다는 건데 이거는 강화학습이랑은 전혀 상관이 없음... 본문이 틀렸음

[익명(both6480)]

중국 정부에서 gpu 대여 수만개 해줬다고 하더라. 더 많을지도 모름

[익명(84.170)]

ㅋㅋㅋ니가 제일 제대로 본거임.

[2025AGI온다(invest9786)]

[익명(116.41)]

레인포스먼트 러닝이 무슨뜻임?? - dc App