1. q러닝= agi달성인건 아님

2. 기존 패러다임은 gpt같이 ㅈㄴ큰 텍스트 학습시킨 언어모델 -> 사람이 선호하는 방향으로 보상 학습시키는 강화학습 파인튜닝 함

3. 근데 강화학습은 원래 ㅈㄴ데이터 비효율적임 사람이 일일이 보상 지정해줘야되는데 병신같음

4. 그래서 대신에 약간의 사람 데이터+언어모델이 그거보고 만든 데이터로 강화학습 학습시키자는 아이디어임

5. 언어모델의 강화학습은 걍 현재 토큰에서 다음 토큰 예측할때 무슨 토큰을 골라야 보상을 많이 받는가를 학습하는거임 근데 이 보상을 사람이 주지말고, gpt4같은 언어모델이 스스로 주도록 하자는거임

6. 구글이나 anthropic 논문에서 실제로 꽤잘됐음 메타 LLaMa2에도 이미 쓰임


- dc official App