[일반] 듣기로는 이전 모델에 비해 100배 커질때마다

[행복한천국으로(adjust7431)]

100배 커질때마다 창발적 능력이 생겨난다고 어디서 주워들었는데 사실이예요? 사실이 맞다면 지금 GPT-4보다 100배 큰 모델이 있을까요?

[익명(surf2526)]

알트만이 한 말임

[익명(shore1232)]

모뎅 파라미터 크기에 의한 성능 증가는 이미 학술적으로도 입증되어있음

[익명(surf2526)]

100배를 스케일링 할 때마다 창발적인 능력이 생겨왔다는거 동경대에서 알트만이 한 말이라고

[행복한천국으로(adjust7431)]

[익명(shore1232)]

연산력 한계때문에 지금 상용모델중에 gpt-4보다 100배 큰 모델은 없음. 모델크기 100배 커질때마다 성능 꽤 올라가는건 맞음. 사전학습의 이득 자체는 작지만 그 작은 이득에 사후학습+강화학습 결합하면 지수적으로 증폭됨 문제는 그럴 연산력이 없다는거..

[행복한천국으로(adjust7431)]

[행복한천국으로(adjust7431)]

스타게이트 빨리..!