컴퓨팅만으론 불가능하다는걸 증명한 모델 아님?
그렇다고 컴퓨팅이 필요하지않다는건 아니지만
진작 추론 RL로 넘어왔지
추론도 컴퓨팅이고, 목표는 존나게 큰 모델을 더 큰 추론으로 짓누르는거임 스타게이트로 학습한 모델을 스타게이트X10으로 추론해야 해
이걸 진행하는 과정에서도 점점 사전학습 사후학습 강화학습 합성데이터 등 더 효율적으로 더 좋은 성능을 뽑는 방법들이 계속 나오고 있고 지금 새로 만드는 4.5는 4.5로 끝나지 않겠지
일리야 "스케일링 법칙을 이야기하는데, 무엇에 스케일링을 늘려야 하는지를 다들 간과하는 것 같습니다." - 2025 AGI
필요조건이죠
불가능을 보여준게 아니고 딱 예상되는만큼만 오름... 파라미터 방면으로 스케일링하는것보다 테스트타임스케일링이 지금 더 효과적이니까 그거 우선적으로 하는거고 나중에 파라미터도 스케일링하겠지
진작 추론 RL로 넘어왔지
추론도 컴퓨팅이고, 목표는 존나게 큰 모델을 더 큰 추론으로 짓누르는거임 스타게이트로 학습한 모델을 스타게이트X10으로 추론해야 해
이걸 진행하는 과정에서도 점점 사전학습 사후학습 강화학습 합성데이터 등 더 효율적으로 더 좋은 성능을 뽑는 방법들이 계속 나오고 있고 지금 새로 만드는 4.5는 4.5로 끝나지 않겠지
일리야 "스케일링 법칙을 이야기하는데, 무엇에 스케일링을 늘려야 하는지를 다들 간과하는 것 같습니다." - 2025 AGI
필요조건이죠
불가능을 보여준게 아니고 딱 예상되는만큼만 오름... 파라미터 방면으로 스케일링하는것보다 테스트타임스케일링이 지금 더 효과적이니까 그거 우선적으로 하는거고 나중에 파라미터도 스케일링하겠지