[일반] 패러미터 관련이 알쏭달쏭함

[Atta(angerrganch709)]

여태까지 구글이 내놓은 palm 만 보면 패러미터 상대적으로 딸리는 gpt에 비해 성능이 별로라 패러미터가 다가 아닌 것 같다가도

점수가 gpt급이라고 나온 패러미터 낮은 llm들은 써보다 보면 또 gpt 급은 아님

그냥 open ai가 잘 만드는 건가

- dc official App

[익명(sky0204)]

파라미터를 무조건 늘리는게 답이 아니긴 한데 앞으로 모델 크기가 훨씬 커진다는 예측이 많으니 좀더 봐야지 지금 gpt4가 1.76조개 정도니까 더 늘린 모델들 성능이 어떨지 보면 알듯

[Atta(angerrganch709)]

일단 제미니 기다려봐야 할 듯 - dc App

[익명(222.119)]

파라미터랑 성능은 명확하게 상관관계가 있지 하지만 비용문제도 있고 파라미터를 늘리는거만으로는 결국 롱테일문제에서 빠져나오지 못하는거같아

[익명(landofooo)]

파라미터가 크면 좋긴 한데, 네트워크 구조나 아키텍처가 최적화 잘 되어있으면 파리미터 수 그것도 줄이면서 성능은 유지할수 있을테니.. 그리고 파라미터도 ram에 올려서 사용하는데 적은 양으로 같은 추론력을 내면 당연히 개이득이기도하고