“아직 우리는 스케일링 법칙의 점근선에 닿지 않앗다”는 거

일단 실리콘밸리 1황들의 연구를 대체로 다 주워들어서 풍문으로라도 대개 성능과 규모를 알고있는 사람일텐데 “아직도” 스케일링 법칙은 한계에 도달하지 않앗다는 얘기를 하는 거 보면 업계 최전선에서도 스케일링 법칙이 여전히 유효하다는 뜻임

이번에 소라의 성공비결로 모델 규모며 데이터의 절대적 양 차이를 언급한 사람들이 많앗는데 관련자들이 블러핑하는 거다 어떻다 말이 많앗엇잖아? 하사비스 얘기 들어보니 아닌거같음 일단 소라 개발노하우가 뭐든 간에 업계 최전선에서조차 스케일링 법칙은 여전히 유효하다..

이건 더 나아가서 2024년인 올해 출시될 모델 뿐 아니라 한 2026년쯤까지 출시될 모델이나 서비스조차도 스케일링 법칙이 계속 확장적용 가능하다는 전제하에 개발될 것임을 시사함... 25년 26년에 공개될 애들중에 상당수는 아마 지금 막 개발시작된 애들일거고 앞으로 몇개월내에 우리가 스케일링 법칙의 “천장”에 닿을일은 없을거같음

오히려 하사비스 얘기 들으니 스케일링의 한계보단 지금 시점의 기술로 하드웨어랑 에너지가 딸릴까봐 걱정됨.. 스케일링이 맞는 방향인데 어쩌면 우리가 닿고자하는 레벨은 너무 큰 스케일이 필요한건 아닌가 싶어서

암튼 개인적으로 발언의 무게나 신빙성, 진솔함, 정직함 측면에서는 지금 학계 업계 최선두 인물들 통틀어서 전형적인 학자타입이자 경거망동하지않는 하사비스를 따라갈 사람이 없는거같아서 인터뷰 잘봣고 생각도 어느정도 정리가 되엇음