[일반] 스케일링 법칙 깨졌는데 그럼 스타게이트 완공한다고 성능 향상되진 않겠네?

[익명(121.133)]

스타게이트 같이 무식하게 컴퓨팅만 때려 박는건 무의미한거 아님?

[ㅇㅇ 1(59.7)]

추론 스케일링은 유효하다

[ㅇㅇ 1(59.7)]

그거 한계 이야기하는 연구진이나 논문은 아직까지 없음

[ㅇㅇ 2(115.139)]

아니 그럼 근데 추론시간을 밑도끝도없이 늘리면 해결됨? 그건 뭔가 이상한거같은데

[ㅇㅇ 3(58.145)]

반대 아니냐 추론이 스케일링 늘리면 오히려 지표가 떨어진다고 하던데

[ㅇㅇ 1(59.7)]

스케일링 늘리면 지표 떨어지는건 베이스 모델 파라미터 이야기고!! 베이스 모델 상관 없이 추론 시간 늘리면서 성능 늘어나는건 이미 다른 논문들 엄청 많아

[ㅇㅇ 1(59.7)]

Test time scaling에서 성능 한계 보이는 논문은 아직 없어

[ㅇㅇ 1(59.7)]

평소에 념글 보면서 논문이나 이런거 잘 체크하자

[ㅇㅇ 2(115.139)]

아니 근데 그건 증가함수다 에 대한 얘기지 지수함수다 에 대한 얘기가 아니지 않음? 스케일링 법칙이 성립하려면 지수함수여야 하자너

[ㅇㅇ 4(218.148)]

념글보고 이런 글 쓰는 거 같은데 념글 내용을 다시 읽어봐라 베이스 모델 얘기하는 걸 뭔 지멋대로 확장해서 떠드냐

[ㅇㅇ 1(59.7)]

ㄹㅇ 념글 내용은 베이스 모델 사전 학습 scaling 이야기고 추론(Reasoning) 스케일링은 다른거임

[ㅇㅇ 4(218.148)]

아직 스타게이트급으로 많은 컴퓨팅이 들어간 역사가 없어서 모름 U가 W로 바뀔수도 있단 거임

[Asi(worship5388)]

베이스 스케일링이랑 추론 스케일링 구분하는거 유입들 교육이 필요해보이네