CoT(Chain of thought)방법을 적용한 모델들을 우리가 흔히 

추론모델이라 부르는데

저기서 말한 추론이 그 추론이 아니라 말 그대로 ai가 추론한다 그냥 그런 의미로 쓴거고


그 근거로 논문 인트로덕션에


The general scaling behavior of language models has been investigated, including the

well-known exponential scaling laws for testing loss and compute proposed by Kaplan

et al. (2020) and the training compute-optimal scaling studied by Hoffmann et al. (2022a).

Recent work has also examined the scaling of specific capabilities like machine translation

(Ghorbani et al., 2022) and knowledge capacity/memorization (Allen-Zhu & Li, 2025; Lu

et al., 2024). According to these existing scaling laws, it is in general believed that larger

models imply better testing loss or task performance when trained on more data.


In this paper, however, we find that the reasoning ability of language models under pretraining scaling can behave differently from normal power-law scaling, in a simplified

pretraining environment. More specifically, when given enough compute, we find that the

testing loss scaling curve is U-shape and there exists an optimal model size that produces

the best reasoning performance/testing loss. This implies that overparameterization might

hurt reasoning capability during pre-training. We first observe this phenomenon with

real-world knowledge graph data, and then systematically study it through synthetically

generated data.



라고 나오거든


우리가 흔히 말했던 스케일링 법칙 논문이랑

상반된 결과가 나왔단 내용임


그리고 단순히 효율증가가 감소하는게 아니라

오히려 일정수준 넘어서면 추론에 방해가 돼서, x축을 사전학습모델의 스케일, y축을 실제 llm의 추론정도로 봤을때

u자형을 그린단거고



여기서 사전학습모델이 흔히 말하는 베이스모델, 그리고 여기서 말하는 베이스 모델이 CoT가 적용된 추론모델-로 오인되어서 오해가 발생한거같음



그거랑 별개로 그동안 나오던 스케일링 떡밥을 논문형태로 입증한거니깐

뒷북이다 이럴건 아니라고 봄

그동안 나왔던건 다 일종의 간접증거, 아니면 일리야 인터뷰 이런거니깐