SRL은 끝에서만이 아니라 매 단계에서 피드백을 준다. ★

RLVR은 최종 답이 맞았는지만 확인하므로, 작은 모델들은 실패했을 때 학습 신호를 전혀 받지 못한다.

SFT는 모델이 교사(teacher)의 전체 답변을 토큰 단위로 그대로 복사하도록 강제한다. 이 방식은 과적합을 일으킬 수 있고, 계획(플래닝)을 가르치지 못한다.

SRL은 교사의 해법을 단계별 행동으로 쪼개고, 모델에게 잠깐 생각한 뒤 다음 행동을 산출하도록 요구한다.

각 행동은 교사의 해당 단계와의 유사도 보상을 받기 때문에, 부분적인 진전만 있어도 점수를 얻는다. ★
→ 이 부분이 제일 중요한데 '정답' 이 아니라도 풀이과정에서 조금이라도 '정답과 가까울 수 있는 풀이' 가 존재한다면 그 풀이에 점수를 줌.

이전 단계를 문맥으로 활용하면 추론이 궤도에서 벗어나지 않게 하고, 무작위 우회(삽질)를 줄여 준다.

 핵심은 SRL이 하나의 해법을 여러 개의 지도학습 단계로 바꿔 준다는 점이며, 그 결과 7B급 모델들도 더 안정적이고 구조화된 추론을 학습할 수 있다.


- 문제설정

질문: “37×48은?



- 답변출력


SFT 방식 (기존방식) : 모델이 교사가 쓴 최종 답 “1776”과 같은 문장을 그대로 내놓도록 학습(중간 계산은 중요하지 않음)


SRL 방식 (구글 지도 강화 학습 방식): 만약에 정답은 아니지만 풀이 과정중에 괜찮은게 있다면 점수를 부여해서 다음 스텝에서의 풀이에 활용함


    1. 37×(50−2)로 바꾸기

    2. 37×50=1850

    3. 37×2=74

    4. 1850−74=1776
      각 단계가 맞으면 보상 → “어떻게 풀지”를 익힘.




      2단계: 부분적 자기개선 인공지능의 출현 (2025년 ~ 2028년)

      '사고의 연쇄(Chain of Thought)'나 '테스트 시간 컴퓨팅(Test-Time Compute)'과 같은 기술이 도입되면서 인공지능은 한 단계 진보한다. 이 모델들은 단순히 정답을 출력하는 것을 넘어, 문제 해결 과정을 스스로 여러 번 시뮬레이션하고 더 나은 결과물을 도출하기 위해 추론 시간을 더 많이 사용한다. 즉, 연산 시간이 길어질수록 출력의 질이 높아지는 부분적인 자기개선 능력을 갖추게 된다.

      하지만 이 단계의 모델은 여전히 완전한 자율성을 갖지 못한다. 생성된 최종 결과물은 반드시 인간 전문가의 검토와 승인을 거쳐야만 한다. 이로 인해 AI와 인간 연구자가 공동으로 연구를 진행하는 '인간-AI 협업' 모델이 보편화되며, 완전한 자율적 피드백 루프는 구축되지 못한다. 구글의 Co-scientist, 메타의 생성자-추론자(Generator-Reasoner) 모델 등이 이러한 과도기적 형태에 해당한다.


      소름 끼칠정도로 타임라인 대로 가고 있음 이 추세대로라면 2028 ASI 는 공상의 영역이 아니게 될 수 도 있음