하지만 어느 시점이 되면 사전 학습은 데이터 고갈에 직면하게 될 겁니다. 데이터는 명백히 유한하니까요. 그럼 그 다음엔 무엇을 해야 할까요? 이전에 했던 것과는 다른 레시피로 강화된 사전 학습을 하거나, 강화 학습(RL)을 하거나, 어쩌면 다른 무언가를 해야겠죠 예전처럼 무지성 스케일링으로는 안되고 다른 방식으로 사전학습을 하거나 강화학습을 하거나 또 다른 방식을 찾거나 이건 걍 너무 당연한 소리 아닌가?
저거 추론스케일링 이야기고 여전히 하고 있는 개발방식임
근데 왜 불탐?
@탈모는범죄 agi 달성이 5~20년 혹은 그 이상 걸린다고 해서? 사실상 언젠간 되지 않을까 수준이니까