LLM이 과학적 진보를 가속화하려면 우선 기존 연구 결과를 재현하는 능력이 필요하다고 보고 그 능력을 평가하는 벤치마크를 제안한 것.







자동화된 LLM 스피드 러닝 벤치마크






GPT2(나노 지피티)를 학습시키면서 우선 인간 전문가가 학습 스크립트를 최적화한다.






이 과정을 AI 에이전트들이 재현하도록 함.









0490f719b78660fe20b5c6b236ef203e50203e78397c945b








결과는 인간의 절반 수준에 미치지 못 했다고 한다.



가로축 보면 인간이 달성한 속도 단축(45→3분)의 몇 %를 재현했는지 알 수 있음.






LLM 에이전트는 힌트를 줘도 기존 인간 혁신을 완전히 재현하지 못 한다.


기록이 깊어질수록(더 복잡한 최적화일수록) 재현 성능은 빠르게 저하된다.


이 벤치마크는 LLM의 과학적 재현능력—자율 연구 에이전트로 가는 첫걸음—을 직관적으로 보여 준다.