[일반] 최근에 스케일링법칙 영상들 보는데

[ㅇo(1.227)]

https://youtu.be/QkPeMzr3Qz4

훈련 후 테스트 할때 에러가 규모가 클수록 줄어드는건데

어느수준까지 에러가 줄어야 육손벤치를 해결하는지를 모르겠다

이거 너무 신기하면서도 불안함..

우리가 꿈꾸는 수준은 어쩌면 전 지구를 반도체로 만들어도 불가능하다면? 선형타락해버릴거같음..

[봄바다(path8294)]

구글 직원이 사전학습 1%만 늘려도 결과는 기하급수적으로 뛰어나진다고 했는데 벌써 이정도로 좋으면 걱정 안해도 되지않을까

[ㅇo(1.227)]

결과가 결국 에러를 말하는거고 실사용벤치는 저기 에러율 어느정도에 있는지 아무도 모름;;

[Azurespace(azurespace)]

인간만큼 하는 모델의 파라미터가 적어도 인간 뉴런수보단 적을거 아냐 어퍼리밋은 있네

[ㅇo(1.226)]

특붕이는 고작 인간따리 인공지능 필요없어

[Azurespace(azurespace)]

@ㅇo(1.226) 지금 모델들 파라미터 대비 효율을 보면 인간 뉴런수만큼 있으면 인간보다 훨씬 낫겠지 아마