[일반] 스케일링 멸망이라는 글이 개씹소리인 이유

[한가운데(centerofworld)]

https://m.dcinside.com/board/thesingularity/647397

Grok3가 증명하는 것 - 스케일링의 몰락

1. r1은 처음부터 학습한게 아니라 v3에 강화학습+@한거임

그에 비해 grok3는 처음부터 학습했으므로 비용이 당연히 더 듬

2. 점수가 10%p 오른건 성능 10% 향상이 아님.

오류율로 보면 80%->90%의 성능 향상은 2배 향상과 같음

3. deepseek r1의 gpu 소비량은 단순히 한번 학습을 기준으로 한 것으로, 시행착오에 관한 부분을 포함하지 않음

결론 : 짤은 헛소리다

[익명(121.137)]

이건 니가 헛소리하는거 같은데

[한가운데(centerofworld)]

반박하려면 근거를 가져와라 챗지피티 돌려도 좋으니까 가져와보셈 근거를

[한가운데(centerofworld)]

별개로 스케일링 효율이 나빠진건 맞음

[ㅇㅇ 1(119.197)]

1) V3와 R1이 다른 하드웨어를 썼다는 근거는 없고, V3와 R1 파라미터 수는 같음. 2) "오류율로 보면 80%->90%의 성능 향상은 2배 향상과 같음" > 데이터 없는 뇌피셜 3) deepseek r1의 gpu 소비량은 단순히 한번 학습을 기준으로 한 것으로 > 사실 아님. R1 논문에서 20회 이상의 레이어가 공개됨

[한가운데(centerofworld)]

2. 데이터 없는 뇌피셜이 아니라 실제로 오류율 20%에서 10%가 된거라 성능 두배 향상으로 취급함. 데이터사이언스든 뭐든 수업 하나만 들으면 아는 사실

[한가운데(centerofworld)]

1. v3에 추가학습한 것이므로 그 gpu 시간도 합쳐 계산해야함

[한가운데(centerofworld)]

3. 레이어와 학습 시도 횟수는 아무 관계가 없음

[ㅇㅇ 1(119.197)]

이건 뭐 반박도 아니고 또 뇌파셜만 반복하네..

[한가운데(centerofworld)]

뇌피셜이라고 무작정 말만 하지 말고 네 주장을 더 보강하든 내 말을 반박하든 해봐

[ㅇㅇ 1(119.197)]

GPQA, AIME, LCB가 객관형 문제도 아니고 답이 정해졌고 맞은 문제 개수로 산출하는데 2배 향상은 무슨 약을 하면 나오는 발상임? 게다가 학습 레이어 수는 컴퓨팅 시간에 비례하는걸 알텐데 gpu 소비량이 아니다?

[한가운데(centerofworld)]

학습양에 비례하지만 학습 몇번했는지는 어케아노 그리고 오류율이 절반 되면 성능 두배 향상으로 치는거 맞아 대학 수업 하나만 들어봐도 아는거다