베이스모델 : 생각 안 하고 튀어나오는 대로 말함. 그냥 한 글자 한 글자가 프리스타일 랩이라고 생각하면 됨. 얀르쿤이 말한 '확률적 앵무새'가 바로 이런 거임. 어떤 문맥과 단어가 나오면 그 다음에 올 확률이 가장 높은 단어를 내뱉는 것.
추론모델(CoT): 프롬프트를 입력 받으면 내부에서 문제를 여러 개로 쪼개서 베이스모델이 단계적으로 추론을 함. 한마디로 베이스모델이 하던 프리스타일 랩을 얘는 속으로만 존나 여러 버전으로 해봄. 그러고 나서 어느 버전의 랩이 제일 나은지 혼자 계속 저울질 한 후 답을 제공함. ---참고로 이때 AI가 스스로 내리는 결론이 옳은지 그른지를 여러 평가지표를 기준으로 피드백을 줘서 품질을 높이는데, 그런 걸 강화학습(RL)이라고 하고, 강화학습 정도의 차이로 o1, o3이 나뉨---
<요약>
베이스모델: 말하기 전에 생각도 안 하고 그냥 튀어나오는 대로 씨부림
추론모델: 말하기 전에 생각 존나 많이 하고, 일단 말하기 시작하는 순간부터는 생각 하나도 안 하고 준비한 대로만 말함
이제는 말하기 전에도 생각하고, 말하는 중에도 생각이 바뀌면 '어라 잠깐만' 하면서 자기가 하려던 말을 수정하는 AI가 나와야 하지 않을까?
수학적 통계에 따라 맞으리라 예상되는 답을 제출하는 모델이 추론모델 아님? 난 그냥 사전적 정의 고대로 이해하려는 중
그건 추론모델의 사전적 정의가 아닌데?
Llm 은 학습된 데이터 속에서 프롬프트가 요구하는 답에 가장 잘 들어맞는 데이터를 꺼내서 사용자에게 제출하는 거고. 나는 시공이 있느냐 없느냐로 인식 구분하고 있슴. Llm 은 시공간이 없다고 보고 추론모델은 시공간이 있다고 보고. 아직 맞는지 틀리는지 모르는 미래의 답을 예측하니까.
Gpt가 그렇다는데?
걍 통계에 따라 답내는게 LLM정의고 추론모델은 거기의 추론단계를 연장선일뿐임 아님말고
너가 도대체 무슨 말을 하는지 모르겠다. 나는 베이스모델을 기반으로 CoT 및 RL기법을 적용해서 o1, o3 같은 추론모델을 만든 원리를 설명한 거임.
ㄴ 이거임 ㅇㅇ
LLM은 통계에 따라 답을 내는 게 맞지. 근데 추론모델은 단순히 통계에 따라 답을 내는 것의 누적이 아님. 문제를 여러 개로 쪼개서 통계에 의한 답변을 여러 개 누적하고, 그 중에서도 올바른 추론을 하도록 강화학습(RL)을 시킨 게 추론모델임.