[일반] 의문? 스케일 법칙이 맞나

[익명(14.36)]

오히려 다른게 더 중요한거 같은데

[익명(literal6937)]

저거 출처도 잘 모르는 퍼플렉시티 모음임

[익명(14.36)]

다른건 몰라도 머스크가 칩 훨씬 더 가지고 있다는건 팩트임

[난모르것다(farewell1592)]

베이스모델 성능보면 스케일은 진리임

[익명(14.36)]

근데 지수적으로 오르긴 커녕 떨어지고 있잖아

[난모르것다(farewell1592)]

훈련량도 지수적으로 늘어나야 되니까 그렇지 그거 할라고 인프라 때려박고 있는거임 스타게이트 같은걸로

[ㅇㅇ 1(182.216)]

h100 10만대도 아니고 20만대임 ㅋㅋ

[어브리(abbreviate)]

좋아지는 폭은 줄어들을 수밖에 없다 생각함 1개쓰다가 2개 쓰면 성능향상폭이 2배지만 100개쓰다가 101개쓰먼 그건 1%상승이잖음 아마 이런거 아닐까 잘 모르지만

[익명(14.36)]

내 생각에도 그럼

[익명(friendly5597)]

이게 맞음 ㅇㅇ 100개 썼으면 다음엔 1000개로 늘려야 눈에 띄게 성능차이 날걸

[ㅇㅇ 1(182.216)]

스케일링은 여태 꾸준히 10배 100배 지수적으로 증가했는데 성능 향상폭이 점점 적어져서 뿔난거

[어브리(abbreviate)]

그래서 정확히 oai가 gpu 몇개 박았는지 아는게 중요하다 생각함

[ㅇㅇ 2(218.144)]

지능의 향상이 지수적 발전이라는거지 모델의 스케일 향상이 지능의 지수적 발전이라는 말이 아님.

[익명(1.237)]

지능의 향상이 지수적인걸 모르는데 뭔