Ilya Sutskever 00:19:00


제가 생각하기에 사실일지도 모를 관점을 하나 말씀드릴게요. 예전에 머신러닝(ML)이 돌아가는 방식은 사람들이 그냥 이것저것 만지작거리면서(tinker) 흥미로운 결과를 얻으려고 노력하는 식이었어요. 과거에는 그런 일들이 벌어졌죠.


그러다가 '스케일링'에 대한 통찰이 등장했습니다. 스케일링 법칙, GPT-3가 나오면서 갑자기 모두가 규모를 키워야 한다는 걸 깨닫게 된 거죠. 이건 언어가 사고에 어떤 영향을 미치는지를 보여주는 좋은 예시입니다. "스케일링"은 단지 한 단어일 뿐이지만, 사람들에게 무엇을 해야 할지 알려주기 때문에 정말 강력한 단어인 거죠. 사람들은 "규모를 한번 키워보자"라고 말하게 됩니다. 그렇다면 무엇의 규모를 키우는 걸까요? 바로 '사전 학습'이 그 대상이었습니다. 그게 바로 특정한 스케일링 레시피였죠.


사전 학습의 가장 큰 돌파구는 이 레시피가 훌륭하다는 것을 깨달았다는 점입니다. "야, 특정 크기의 신경망에 약간의 연산량과 데이터를 섞으면 결과가 나올 거야. 그냥 이 레시피의 규모만 키우면 더 좋아질 거라는 걸 알게 될 거야"라고 말하는 거죠. 이것 역시 대단한 일입니다. 기업들은 이걸 아주 좋아해요. 왜냐하면 자원을 투자하는 데 있어 리스크가 매우 낮은 방식이니까요.


연구에 자원을 투자하는 건 훨씬 더 어렵습니다. 비교해 보세요. 연구를 하려면 "연구원들아, 가서 연구하고 뭔가 결과를 가져와라"라고 해야 하지만, 반면에 (스케일링은) 데이터를 더 모으고, 연산량을 더 늘리면 됩니다. 사전 학습을 하면 무언가는 반드시 얻게 된다는 걸 아니까요.


실제로 트위터에서 사람들이 말하는 여러 가지를 보면, Gemini 팀이 사전 학습에서 더 많은 것을 얻어낼 방법을 찾아낸 것 같기도 합니다. 하지만 어느 시점이 되면 사전 학습은 데이터 고갈에 직면하게 될 겁니다. 데이터는 명백히 유한하니까요. 그럼 그 다음엔 무엇을 해야 할까요? 이전에 했던 것과는 다른 레시피로 강화된 사전 학습을 하거나, 강화 학습(RL)을 하거나, 어쩌면 다른 무언가를 해야겠죠. 하지만 이제 연산 자원이 거대해졌습니다. 연산 자원이 정말 거대해진 지금, 어떤 의미에서는 우리는 다시 '연구의 시대'로 돌아온 셈입니다.