[일반] RL 응애인데 GRPO 이해하려면 선행 지식 뭐 필요함

[익명(118.235)]

강화학습은 아예 모름

[딥삣삐 1(14.35)]

Policy Gradient => PPO => GRPO 대체한게 아마 critic head인데 이게 아마 기본적인 통계 개념 (x-mu)/sigma, z score 인가? 그거 가져다 보상에 적용한걸로 암. 좀 본지 되긴 했는데 대충 이정도 알면 되지 않을까 싶은데

[익명(118.235)]

PPO 보고 있는데 PPO를 이해하려면 TD랑 A2C 이런것들도 알아야 하노...

[딥삣삐 1(14.35)]

@ㅇㅇ(118.235) 엥 그냥 REINFORCE 보고 PPO 봐도 됨. 정 계보 따라가고 싶으면 TRPO까지? 근데 진짜 굳이임. PPO는 기본적으로 너무 업데이트 과하게 하면 정책 붕괴하고 (정확히는 특정 액션의 advantage function 값이 너무 높아서 정책이 너무 과격하게 변하는 현상) 모델이 학습을 제대로 못하니까 업데이트 하한 및 상한선을 정해 놓자는게 아이디어임. LLM도 pretrained 가중치 너무 바꾸면 language mix나 언어능력 맛탱이가거나 그렇잖아 (그래서 pretrained base model이랑 RLHF로 업데이트 하는 모델로 KL divergence loss 적용해서 기존 모델의 가중치 분포랑 너무 달라지지 않게 하는거고. GRPO에서 그렇게 한느걸로 기억함)

[딥삣삐 1(14.35)]

@ㅇㅇ(118.235) PPO 철학 그대로 가져가서 llm 인간정렬 시키면서 정책 붕괴가 안 일어남 = 모델의 패러미터가 너무 급격하게 변하지 않음 을 노리겠다는걸로 난 이해했음. 난 TD A2C는 안봤음. 근데 Actor critic 기본적인 내용은 숙지하면 괜찮을지도?

[딥삣삐 1(14.35)]

@딥삣삐1(14.35) 너무 과도하게 업데이트 하면 보였다 빈틈의 실 시전하면서 reward hacking해서 질문 정답 말하면서 싸가지 있게 답변하는게 아니라 아부만 하고 영양가는 없는 답변만 할수도 있음

[익명(118.235)]

@딥삣삐1(14.35) PPO 수식의 각 부분이 어떻게 나온건지 따라가다 보니까 너무 깊게 들어갔나? 대충 어떤 느낌인지만 알면 되려나?

[딥삣삐 1(14.35)]

어떻게 나온거 보다는 이 수식이 왜 있는지, 필요한지, 하는 역할이 뭔지를 타고 올라가는게 좋을꺼 같음

[익명(223.38)]

REINFORCE, PPO

[딥삣삐 2(211.117)]

여기 고수 많구나 ㄷㄷㄷㄷ