[📪정보] 키미 연구자의 스케일링 한계론에 대한 의견

[익명(wanted7407)]

레딧 댓글 내용 (ComfortableAsk4494):

"고품질 데이터의 양은 사용 가능한 컴퓨팅 자원만큼 빠르게 증가하지 않습니다. 따라서 '인터넷 데이터를 이용한 다음 토큰 예측(next token prediction)'이라는 기존 방식의 스케일링(확장)은 개선 효과가 점차 줄어들 것입니다.

하지만 저는 스케일링을 위한 다른 가능한 방법들이 있다고 생각합니다.

예를 들어, 하위 작업(subtasks)을 병렬로 수행하는 에이전트의 수를 늘리는 우리의 최근 '에이전트 스웜(Agent Swarm)' 실험이 있습니다. 이는 '테스트 타임 스케일링(test-time scaling, 추론 단계 확장)'의 한 형태로 볼 수 있으며, 다른 한편으로는 '트레이닝 타임 스케일링(학습 단계 확장)'을 수행하는 길을 열어주기도 합니다.

앞으로 실현 가능한 새로운 스케일링 패러다임들이 등장할 수 있습니다. 미래를 내다보면, 인간의 사전 지식(human priors)이 적거나 아예 없는 상태(zero)에서도 학습하는 모델이 나올 가능성이 높습니다."

- dc official App

[익명(justice2995)]