최신 강화학습 알고리즘을 ‘발견’하기


강화학습(RL) 에이전트는 보통 우리가 손수 짠 규칙(TD, Q-learning, PPO 등)으로 학습합니다. 하지만 인간의 학습 규칙은 사람이 설계한 게 아니라 진화가 만들었죠. 그렇다면 기계가 경험을 통해 자기만의 RL 업데이트 규칙을 스스로 발견하도록 내버려두면 어떨까요?


Junhyuk Oh와 공저자들은 바로 그 방법을 제시합니다. 다양한 환경 전반에서 다수의 에이전트 집단을 학습시키고, 메타러닝으로 “에이전트가 무엇을 목표로 학습해야 하는지”를 출력하는 메타 네트워크를 최적화합니다. 즉, 에이전트의 손실 함수와 부트스트래핑 방식을 엔드투엔드로 함께 배우게 만드는 셈이죠. 에이전트는 여전히 정책과 예측을 내놓지만, 그 예측의 의미는 하드코딩이 아니라 ‘발견’됩니다.


결과는 놀랍습니다. 오랜 벤치마크에서 새로운 기준을 세우는 규칙(“DiscoRL”)이 발견됐거든요. 아타리에서는 57개 게임으로 학습한 버전(Disco57)이 수작업으로 만든 알고리즘보다 성능이 높으면서 실제 시간 관점에서도 더 효율적입니다. 더 흥미로운 건 이 규칙이 일반화된다는 점입니다. 별도 튜닝 없이도 ProcGen에서 최신 수준의 성능을 내고, DMLab, NetHack, Crafter, Sokoban에서도 경쟁력 있는 성능을 보입니다. 발견 과정을 더 다양한 환경으로 확장한 버전(Disco103)은 규칙을 더 강하게 만듭니다. 단지 더 다양한 세계에 노출시키는 것만으로도 성능이 개선되니까요.


내부를 들여다보면, 학습된 ‘예측’은 고전적 가치함수와 다르게 행동합니다. 두드러진 사건(큰 보상, 급격한 정책 변화) 전에 스파이크가 나타나고, 이 예측이 정책을 부트스트랩하고 업데이트하는 데 명시적으로 쓰입니다. 이는 시스템이 옛 개념을 재탕한 게 아니라 유용한 ‘중간 변수’를 스스로 발명했음을 보여줍니다. 발견 과정은 실용적이기도 합니다. 환경당 수억 스텝이면 최상위 규칙을 찾기에 충분했고, 이렇게 배운 규칙은 평가할 때 더 큰 네트워크로도 잘 이전됩니다.


이는 설득력 있는 미래를 가리킵니다. 점점 더 복잡한 RL 손실과 타깃을 사람이 일일이 만들기보다, 학습 알고리즘 자체가 ‘학습되는’ 에이전트를 훈련할 수 있다는 것이죠. 계산 자원, 데이터 다양성, 더 풍부한 환경을 더할수록 스스로 개선됩니다. 조정해야 할 노브는 적고, 역량은 더 커집니다.


1. 즉, 에이전트의 손실 함수와 부트스트래핑 방식을 엔드투엔드로 함께 배우게 만드는 셈이죠. 에이전트는 여전히 정책과 예측을 내놓지만, 그 예측의 의미는 하드코딩이 아니라 ‘발견’됩니다.


2. 오랜 벤치마크에서 새로운 기준을 세우는 규칙(“DiscoRL”)이 발견됐거든요. 아타리에서는 57개 게임으로 학습한 버전(Disco57)이 수작업으로 만든 알고리즘보다 성능이 높으면서 실제 시간 관점에서도 더 효율적입니다.


3. 이는 시스템이 옛 개념을 재탕한 게 아니라 유용한 ‘중간 변수’를 스스로 발명했음을 보여줍니다.



이거 잘하면 재귀개선 열릴 수 도 있겠는데?


그냥 존나 간단하게 요약하자면


'강화학습 자체를 강화학습' 하는거임