오픈AI의 추론 모델의 기반을 만든 일리야 수츠케버 SSI 창립자가 데이터 고갈로 인해 대형언어모델(LLM)의 사전 훈련에 따른 '스케일링 법칙' 시대는 끝났다고 선언했다. 대신, 추론이 새로운 인공시대(AI)를 열 것이며, 특히 이로 인해 인간의 예상을 뛰어넘는 자의식을 갖춘 초지능(super intelligence)이 등장할 것이라고 예고했다.


수츠케버 창립자는 13일(현지시간) 캐나다 밴쿠버에서 열린 '뉴립스(NeurIPS)' 컨퍼런스에서 "우리가 아는 사전 훈련은 의심할 여지 없이 끝날 것"이라고 말했다.


그는 이유로 석유처럼 한정된 데이터가 고갈됐다는 점을 들었다. "컴퓨팅은 성장하고 있지만, 데이터는 성장하지 않는다. 왜냐하면 인터넷은 하나뿐이기 때문"이라며 "우리는 최고 데이터를 달성했고, 더 이상은 없을 것"이라고 밝혔다.


추론 스케일링은 아직 유효함 oai도 계속 이쪽으로 가고있기도 하고