1. 기존 방식과의 차이점
일반적으로 대규모 언어 모델(LLM)은 사전 학습(Pre-training) → SFT → RL 단계를 거칩니다. SFT는 인간이 레이블링한 데이터로 모델을 미세 조정하는 과정이며, 이후 RL로 인간 선호도에 맞춰 성능을 개선합니다.
하지만 DeepSeek-R1-Zero는 SFT 단계를 완전히 생략하고, 사전 학습된 기본 모델(DeepSeek-V3-Base)에 직접 RL을 적용했습니다712. 이는 기존 연구에서 SFT를 필수로 여겼던 관행을 깬 혁신입니다.
DeepSeek-R1-Zero는 인간 개입 없이도 재귀적 개선이 가능한 가능성을 열었지만, 완전한 자율성 달성에는 여전히 한계가 존재합니다. 향후 연구에서는 동적 보상 시스템과 메타 학습의 결합, 다중 에이전트 협업 등이 핵심 과제로 부상할 것으로 예상됩니다. 이는 AI의 자율성과 신뢰성을 동시에 높이는 새로운 패러다임을 제시할 것입니다.
인간의 개입이 없다고...?
이거 완전 알파고..재귀개선 아니냐...?
이제 한달 뒤에 asi 등장 할 수도 있는거냐? 미친....
- dc official App
ㅇㅇ 알파고 제로버전 만든거라 생각하면 됨
그럼 알파고 제로가 재귀개선을 통해 바둑의 신이 된 것 처럼, 어느날 갑자기 asi 등장할 수도 있다는 말이네? - dc App
강화학습으로 어디까지 갈 수 있을지 지켜봐야겠지 아직 개선여지는 많을거 같음
이거 let's verify step by step에 나온 방식 아님?
지미애플이 어쿠스틱 초지능이라고 트윗 올린 이유가 그래서였나봄
지미애플의 정보력은 대체... - dc App
인간개입이 없다고? 그게 무슨소리임 인간개입이 없는건 아님 다만 문장하나하나에 점수를 매기던 미세조정 방식이 아니라 얘가 진행했던 모든 사고의 과정을 통짜로 집어넣었단 말임
'가능성을 열었다' 라는 말을 '인간 개입이 없었다' 라고 해석하면 안됨 "완전한 자율성 달성에는 여전히 한계가 존재합니다" 이것도 똑바로 읽어야지
그 말이 sft 건너뛰었다는 말이자너 - dc App
아 .. 설명할려면 좀 길어질듯 그냥 알아서 공부해 간다 ~
컴파일러를 통해 피드백이 가능한 코딩 문제나 답이 정해져있는 수학 문제를 풀도록 보상을 통해 유도했더니 자연스럽게 생각의 흐름이 길어지게 된거임. 생각의 흐름이 들어간 데이터셋을 학습하고 리워드 모델에 의해 보상을 받은게 아니라
SFT가 나쁜게 아니라 비용이 많이 들어서 걍 건너뛰니 자연스럽레 CoT를 가지는 식으로 스스로 진..화한거임.
ㅇㅇ 이거라고 보상설계가 자체적으로 가능한 폐쇄적 문제설정에 한해서 RL 을 진행했다는거지 인간개입이 없었다고 말하긴 어려움 SFT를 건너뛰었다고 해서 인간의 개입이 없었다 라고 생각하면 안됨
추론한계는 없으나 추론이 어디로 튈지 모르기 때문애 인간라벨라가 추론의 흐름을 계속해서 잡아줘야함
"DeepSeek-R1-Zero는 인간 개입 없이도 재귀적 개선이 가능한 가능성을 열었지만," 이건 헛소리지 이거 누가 쓴글임? ㅋㅋㅋ 그냥 세부적으로 조정할 필요없이 얘가 내놓은 데이터 검수하고 통짜로 계속 먹었더니 생각을 졸라 잘하게 됬더라 그 말임
인간의 동작으로 비유하자면 인간의 행동중 뛰는 동작을 하나하나 해부해서 데이터를 먹인게 아니라 얘가 잘뛸때까지 추론하게 만들고 잘뛴 데이터 를 통째로 그냥 빅맥마냥 쑤셔박고 그짓거리 무한반복했더니 모델이 개쩔어진거임 굳이 복잡하게 할필요없이 단순하게 해도 상관없었다는거