Q : 논문에서, 정확한 예측인지 아닌지는 어떻게 아는거지 보상을 주는 기준이 뭐야?

A : 좋은 질문이에요. 논문에서 제안한 Quiet-STaR 방법은 생각(thought)이 이후 텍스트를 얼마나 잘 예측하는지에 따라 보상을 줍니다. 

구체적으로, 모델이 생각을 생성한 후 실제 텍스트와 비교하여 그 생각이 얼마나 텍스트 예측에 도움이 되었는지를 평가합니다. 이를 위해 모델은 생각을 했을 때와 하지 않았을 때의 텍스트 예측 정확도를 비교하는데, 이때 정확도는 실제 텍스트의 토큰(단어 또는 subword)에 대한 log likelihood로 측정됩니다.

만약 어떤 생각이 텍스트 예측 정확도를 높인다면, 즉 실제 텍스트의 log likelihood를 증가시킨다면, 그 생각은 "좋은" 생각으로 여겨지고 양의 보상을 받게 됩니다. 반면에 생각이 오히려 정확도를 낮추면 음의 보상을 받습니다. 

이러한 보상을 바탕으로 REINFORCE 알고리즘을 사용하여 모델의 파라미터를 업데이트함으로써, 모델은 점점 더 나은 생각을 생성하도록 학습하게 됩니다. 즉, 실제 이후 텍스트를 잘 예측하는 데 도움이 되는 생각들의 등장 확률이 높아지게 되는 거죠.

이 과정을 반복하면서 모델은 텍스트의 숨겨진 의미나 중요한 맥락을 파악하고 이를 바탕으로 이후 내용을 예측하는 능력을 기를 수 있게 됩니다. 결과적으로는 추론이나 질의응답 등의 태스크에서 사전 학습 없이도 제법 좋은 성능을 보일 수 있다고 합니다.


log likelihood