[📪정보] 속보) 추론 한정 베이스모델을 무작정 키우는건 좋지 않을 수 있다

[익명(220.78)]

https://arxiv.org/abs/2504.03635

제미니 설명:

이 논문은 "언어 모델이 클수록 추론을 더 잘할까?"라는 질문을 탐구합니다.

일반적으로 모델이 크고 데이터가 많으면 성능이 좋아진다고 알려져 있지만,

이 연구는 추론 능력에 있어서는 반드시 그렇지 않을 수 있다는 점을 발견했습니다.

[...]

핵심 발견 (U자형 성능 곡선): 놀랍게도, 모델 크기를 계속 키웠을 때 추론 능력(테스트 정확도/손실)이 계속 좋아지는 것이 아니라,

특정 크기에서 최고점을 찍고 오히려 다시 나빠지는 'U자형' 패턴을 보였습니다.

즉, 추론 작업에 있어서는 최적의 모델 크기가 존재했습니다.

원인 분석: 너무 큰 모델(과잉 매개변수화)은 그래프의 규칙을 이해하고 추론하기보다는,

학습 데이터에 있는 정보 조각들을 그냥 외워버리는 경향(과도한 암기)이 강해집니다.

이렇게 암기에 치중하게 되면, 새로운 상황에 대한 추론 능력이 떨어지게 됩니다.

결론: 단순히 모델 크기를 키우는 것이 추론 능력 향상에 항상 좋은 것은 아니며,

특히 지식 그래프와 같은 구조화된 데이터 기반 추론에서는 과도한 암기로 인해 성능이 저하될 수 있습니다.

따라서 추론 작업에는 데이터의 복잡성에 맞는 최적의 모델 크기를 찾는 것이 중요할 수 있습니다.

o3 설명:

논문은 “매개변수를 무한히 늘리는 단순 스케일링만으로는 추론 한계를 깰 수 없다”는 점을 보여줍니다.

과잉 매개변수화(overparameterization)가 과도한 암기(excessive memorization)를 유발하고, 이것이 일반화된 추론 능력을 저해.

그래프 · 체계적 추론 문제에서는, 사전학습만으로는 적정 크기 이상에서 손실이 다시 오르는 double‑descent가 발견.

이 결과는 “파라미터만 키우면 AGI에 도달한다” 서사를 한풀 꺾습니다.

단,

- 값비싼 탐색(search)의 병목을 줄이기 위해 이미 retrieval‑augmented generation, toolformer, MoE, planner‑executor 구조가 채택되고 있습니다. 즉 search를 모델 밖으로 빼 내고, 찾아온 정보를 다시 거대한 언어모델이 해석하는 협업 구조가 주류가 됨.

- 파라미터 증가가 추론 자체의 승리 조건은 아니어도, ‘탐색 뒤 해석’ 능력 · ‘meta‑learning’ 효율을 높여 줌. 큰 베이스는 여전히 “발사대” 역할을 합니다.

- MoE · 압축 · 프루닝으로 “실질 파라미터”를 늘리지 않고도 “가용 파라미터”를 확장하는 트렌드가 활발해, 순수 dense scaling만 보고 ‘장벽’이라 단정하기 어렵습니다.

따라서,

본 논문이 경고하는 “단순 파라미터 증설”의 수익 체감은 분명하지만, 이미 업계 · 학계는 “적정 규모 + 외부 툴 · 추론 기법”이라는 다층적 방향으로 전환하고 있습니다.

이것은 모델 · 데이터 · 추론 체계를 균형 있게 설계해야 한다는 실용적 가이드라인으로 보는 편이 타당합니다.

패러다임이 ‘단일 거대모델’ → ‘다층 생태계’로 이동한 것이죠.

[ㅇㅇ 1(14.4)]

흠..

[ㅇㅇ 1(14.4)]

추론까지 끝났다는 소린 아니지않나

[ㅇㅇ 2(168.126)]

요약 추론용 적당크기가 좋다

[ㅇㅇ 3(180.70)]

겨울이다

[ㅇㅇ 4(59.7)]

이미 작년.. 아니 일리야는 2~3년 전부터 이야기 하던거잖아

[ㅇㅇ 5(115.139)]

4.5가 갮인 이유가 이건가

[초존도초(htr3c654r6ft)]

4.5는 추론 모델이 아님 - 2025 AGI

[ㅇㅇ 5(115.139)]

베이스모델 얘기 아님?

[ㅇㅇ 5(115.139)]

그러네 정확히는 베이스모델이 무조건 커진다고 추론모델까지 좋아지진 않는다는거네

[ㅇㅇ 5(115.139)]

아니네 자세히 읽어보니깐 저건 CoT방식을 쓴 추론모델에 대한 얘기가 아닌가봄 베이스모델 얘기 맞는듯

[익명(leaf4518)]

[익명(121.165)]

특갤에선 애진작에 느끼고 있던거 아니엿노

[ㅇㅇ 4(59.7)]

이미 쿨타임때마다 나오는 떡밥임

[익명(115.139)]

우리가 볼 수 있는건 간접적인 지표뿐이라 맨날 싸웠지 정확히는 아마 이거 이후로도 싸울걸

[ㅇㅇ 4(59.7)]

아니 애초에 2~3년 전부터 기업들은 이 사실 알고 추론 패러다임이랑 RL이나 moe 등등 다 나온거라 큰 의미 없는 논문임

[익명(115.139)]

https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=660289

[익명(115.139)]

학계정론은 모르겠고 맨날 싸웠다는거지

[초존도초(htr3c654r6ft)]

2-3년 전에 추론 모델 없었음 위 내용은 추론에 대한 베이스모델 스케일링의 영향에 관한 거잖음 - 2025 AGI

[ㅇㅇ 5(115.139)]

ㄴ그 추론이 그 추론이 아닌가봄

[ㅇㅇ 5(115.139)]

https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=706665&page=1
정리해봄

[ㅇㅇ 6(210.91)]

근데 원래 여론은 추론모델만 가지곤 안되고 베이스모델도 계속 발전해야 된다는게 정론 아니었냐 이 논문대로라면 베이스모델은 어느크기 이상 못올린다는 뜻 아님?

[덕수옹(deogsuong)]

이건 데이터셋 병목이 크다고 생각함

[익명(59.22)]

아.. 조금 추운 소식이긴하네...결국 무지성 파라메터 늘리는건 역시...

[익명(better0657)]

[ㅇㅇ 7(218.148)]

아 ㅋㅋ 르쿤이햄 디시콘은 볼 때마다 감정변화가 요동치네

[익명(haircut2819)]

[익명(175.118)]

빨리 제파 출시나 해

[익명(q38i0gmz6w8j)]

[익명(skirt8272)]

걍 강화학습 쓰면 되는거 아님? - dc App

[ㅇㅇ 8(124.50)]

이왜념?

[익명(175.118)]

이게 념이 아니라면 뭐가 념에 올라오냐

[ㅇㅇ 8(124.50)]

이미 한참 전에 끝난 떡밥인데 왜 뒷북치냐고

[익명(hyeongim264)]

ㅠㅠㅠ 하지만 곧 답을 찾겠지

[익명(heisy1111)]

스케일링은 우주적 법칙 아니였음?

[익명(merge3772)]

...? 그래서 추론 모델 있는거잖아 베이스 모델에 수학문제 풀릴려고 함?

[약팔이아님(vital7966)]

제미니 너무 ㅂㅅ같이설명하네

[ㅇㅇ 9(61.80)]

일리야가 진작부터 떠들고 다녔지 않았나

[ㅇㅇ 9(61.80)]

4.5가 그냥 무지성 때려박기 했는데 좆망한 케이스 아닌가

[ㅇㅇ 10(220.125)]

베이스 모델의 추론능력에는 적절한 크기가 있다 이거임? 추론모델 없었으면 ㄹㅇ 핵겨울이었겠네ㅋㅋ

[ㅇㅇ 11(221.151)]

또 6개월 내지는 3개월 이네에 뒤집히겠네

[익명(dlwo0827)]

그록3 멸망 이유네

[익명(criteria8458)]

ㅋㅋㄹㅇ

[레알팜(lottohelp)]

[천사다천사(jjtheman999)]

이래서 일리야가 앞으로 어떻게 할지 기대됨 - dc App

[ㅇㅇ 13(183.98)]

아키텍처 발전이 이젠 더 중요해질듯

[익명(211.194)]

코어가 많아지면 컴퓨터가 무조건 빨라지나? 당연히 그에 맞는 할당정책이 있어야 쓸모가 있지 마찬가지로 모델크기만 커지는데 알고리즘은 똑같고 원리도 정확히 모르는데 이 상황으로 가면 향상이 뭐 효율적이게 되나?

[트라야누스(222.112)]

게임오바. 싹다 노동시켜.게임오바. 싹다 노동시켜.게임오바. 싹다 노동시켜.게임오바. 싹다 노동시켜.게임오바. 싹다 노동시켜.게임오바. 싹다 노동시켜.게임오바. 싹다 노동시켜.게임오바. 싹다 노동시켜.게임오바. 싹다 노동시켜.게임오바. 싹다 노동시켜.게임오바. 싹다 노동시켜.게임오바. 싹다 노동시켜.게임오바. 싹다 노동시켜.게임오바. 싹다 노동시켜.게임오바. 싹다 노동시켜.게임오바. 싹다 노동시켜.게임오바. 싹다 노동시켜.게임오바. 싹다 노동시켜.게임오바. 싹다 노동시켜.게임오바. 싹다 노동시켜.게임오바. 싹다 노동시켜.게임오바. 싹다 노동시켜.게임오바. 싹다 노동시켜.게임오바. 싹다 노동시켜.게임오바. 싹다 노동시켜.게임오바. 싹다 노동시켜.

[ㅇㅇ 14(220.84)]

스케일링 법칙이 깨졌다기보단 새롭고 더 복잡한 아키텍쳐가 있으면 여전히 유효한 전략이란 말로 보이는데 뭐 oai가 스케일링 빼고 다 유기한 것도 아니고

[ㅇㅇ 15(180.224)]

그게 깨졌단소리임... 별 아키텍처 없이도 늘리기만해도 마법이 일어났던게 스케일링이었고

[ㅇㅇ 14(220.84)]

말이 법칙이지 특정한 공식이 있던 것도 아닌데 하던대로 가는 걸 근들갑 떨 게 있나 뭐 연구 유기하고 스케일링만 조졌대?

[ㅇㅇ 17(218.157)]

이게 뭔 소리람.. 일단 고품질 데이터 학습량이 많을 수록 성능은 증가한다는 기본 전제가 박살난 건데 "아무튼 다른 아키텍쳐로 보완하면 되니까 깨진게 아님" << 이게 맞는 소리임? - dc App

[Asi(worship5388)]

아라키스 폐기 때 이미 나온 떡밥 아냐? 추론 스케일링도 멸망이라는줄

[ㅇㅇ 5(115.139)]

그런 의견이 대세가 된거랑 그걸 실제로 논문으로 입증하는건 다르니간

[익명(friendly5597)]

저기서 더 키우면 또 달라질걸? 항상 애매한게 문제임

[ㅇㅇ 15(180.224)]

대ㅡㅡㅡㅡㅡ르ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ쿤

[익명(222.118)]

베이스 스케일링은 성능 좆망 추론 스케일링은 환각 좆망 씨발 싹다노동시켜!!!!!!!!!!!!!!!!

[익명(175.118)]

알트만 오열

[ㅇㅇ 16(125.249)]

생각해보면 존나 많이 외웠다고 꼭 똑똑한건 아니긴 하지

[야하이잇(dignity123)]

일리야 말한것들 생각하면 문제 의식은 추론 도입 초창기 시도때부터 있던거같고 논문으로 지금에서야 나온건 사실 구글, oai 논문 안내기 시작하면서 어쩔 수 없는 느낌

[야하이잇(dignity123)]

애초에 학계가 이제 기업 기술이랑 1~2년 넘게 차이나고 있어서

[익명(q38i0gmz6w8j)]

르쿤형 어디까지 보신 겁니까ㅠㅜ

[익명(lee0329)]

어으 추워 - dc App