https://towardsdatascience.com/gpt-4-is-coming-soon-heres-what-we-know-about-it-64db058cfd45
Altman said they weren’t focusing on making models extremely larger anymore, but on getting the best out of smaller models. OpenAI researchers were early advocates of the scaling hypothesis but may have now realized other unexplored paths can lead to improved models.
스케일링만으로는 AGI 불가능하다고 보고 개선된 훈련회수나 알고리즘쪽에 집중하려는거같다
스케일링에 파라미터 크기 말고도 데이터와 학습량이 중요하다는 거지 스케일링이 필요없단 소리가 아님 AI는 연산이 핵심이고 연산을 더 효율적으로 활용한다는 것
어차피 매개변수 규모, 데이터, 컴퓨팅이 발맞춰서 발전해야됨. 다른 건 두고 어느 하나만 무지성으로 늘리면 성능 향상이 없진 않지만 투입 비용 대비 최고, 최적의 성능을 내지 못함