[일반] 스케일 키우면 당연히 좋아지겠지

[이런내가특특(andud96)]

근데 얼만큼 좋아지냐가 문제지

파라미터10배로 키웠는데 성능이 2배 이러면 실패인 거지

연산량은 ㅈㄴ 올라가서 유지비 엄청 나오고 

유료 결제비용도 올라갈텐데 심리적 저항선이

있으니 아무렇게나 올릴 수도 없고 그래서 GPT5도

직접 학습한 질좋은 합성데이터로만 훈련시킨다잖아 

최대한 스케일 대비 성능이 좋게 나오게 여러 연구들을 해야지

[TS망상(jbo8797)]

최적화 해서 10배 줄이면 됨 4o도 활성 파라미터 100B 안 되니까 API 가격 혜자됨

[이런내가특특(andud96)]

경량화는 당연히 필수고

[빙냥이ㄱㅇㅇ(6zd2cxvc44h4)]

파라미터 10배에 성능 2배면 미친 돌파구인데

[이런내가특특(andud96)]

아라키스도 데이터 ㅈㄴ때려박아서 성능은 좋은데 유지비가 ㅆㅂ이어서 폐기했잖아 ㅋㅋ 돈과 직결된 부분이라 마냥 늘리는 거는 현실적으로 불가능임