수츠케버 창립자는 13일(현지시간) 캐나다 밴쿠버에서 열린 '뉴립스(NeurIPS)' 컨퍼런스에서 "우리가 아는 사전 훈련은 의심할 여지 없이 끝날 것"이라고 말했다.
사전학습 스케일링이 끝나도 스케일링 할수 있는것들은 무수히 많음
이미 수백조의 자본과 수십만명의 천재들이 달라붙어있는 이상 병목은 없다고 본다
수츠케버 창립자는 13일(현지시간) 캐나다 밴쿠버에서 열린 '뉴립스(NeurIPS)' 컨퍼런스에서 "우리가 아는 사전 훈련은 의심할 여지 없이 끝날 것"이라고 말했다.
사전학습 스케일링이 끝나도 스케일링 할수 있는것들은 무수히 많음
이미 수백조의 자본과 수십만명의 천재들이 달라붙어있는 이상 병목은 없다고 본다
수츠케버는 걍 데이터가 없어서라고
O시리즈의 개선은 본질적으로 같은 스케일링의 스펙트럼
일리야 말에 따르면 추론모델로 합성데이터 양산하는 방법만 성공하면 다시 한계 뚫릴거임 이게 과연 먹힐지 gpt4.5가 보여줄거라 생각함
지금 존나 무지성으로 학습 시키니까 그런거지 결국 나중에 정제하거나 가공해서 먹이면 끝도 없지 않나