[📪정보] 로건 "사전학습 1% 이득은 기하급수적 증폭된다"- 데이터

[딥마인드(open6422)]

https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=773757&page=496

로건 :

"Gemini 2.5가 그렇게 훌륭할 수 있었던 이유는 '사전학습, 사후학습, 강화학습'이라는 세 가지 독립적인 스케일축에서 모두 병렬적으로 혁신하고 확장했기 때문입니다.

사후학습은 지난 1.5년 동안 가장 얻기 쉬운 이득 중 하나였으며, 강화학습은 나머지 두 축들 보다도 더욱 확장하기가 쉽습니다.

그래서 우리는 이 세 가지 축들을 계속해서 확장해 나갈 수 있습니다.

또한 이 축들의 각각 이득은 선형적이 아니라 곱셈적으로 늘어납니다.

즉, 예를 들어 사전 학습에서 1%가 개선되면 그 효과가 사후 학습에서 증폭되고, 추론(RL) 단계에서 기하급수적으로 증폭됩니다.

->스케일링 법칙은 작동한다.

https://x.com/ns123abc/status/1954412063905771629

Ex-OpenAI researcher (now at META) explains how scaling laws can never fail because it’s a reflection of the data structure

“what really failed is the data”

OpenAI has a skill issue. https://t.co/WPOHCMnNJY pic.twitter.com/YZyKygsfhB

— NIK (@ns123abc) August 10, 2025

->스케일링 법칙은 작동한다.

데이터에서 실패하지 않으면

https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=801705&search_head=10&page=1

구글, AI 학습 데이터 '1만 분의 1'로 줄이는 방법 찾았다

본문중

구글이 대규모 언어모델(LLM) 학습에 필요한 데이터를 획기적으로 줄이는 ‘액티브 러닝(Active Learning)’ 기반 데이터 선별 기법을 지난 7일(현지시간) 자사 블로그에 공개했다.

기존에는 수십만 건 이상이 필요한 학습 데이터를 단 수백 건으로 줄이면서도, 모델 성능을 유지하거나 오히려 개선하는 결과를 얻었다는 설명이다.

구글이 제안한 방식은 ‘적은 양의 고품질 데이터’로도 모델을 빠르게 재학습할 수 있게 하는 것이 핵심이다.

실험 결과, 구글은 10만 건의 대규모 데이터 대신 250~450건의 전문가 판정 데이터만으로도 기존과 같은 수준, 혹은 65% 향상된 모델 정합도를 달성했다. 특히 파라미터가 큰 모델일수록 데이터 절감 효과가 극대화돼, 실서비스에서는 최대 1만 배 적은 데이터로도 품질을 유지하거나 개선할 수 있었다고 밝혔다.

구글 측은 “LLM의 폭넓은 탐색 능력과 전문가의 정밀한 판별을 결합해 데이터 병목 현상을 해소할 수 있다”며 “앞으로도 데이터 품질과 효율성을 동시에 높이는 연구를 이어갈 것”이라고 말했다.

Gemini 3.0이 오고 있습니다.

[익명(dine4131)]

[ㅇㅇ 1(125.137)]

저러고 X에 'Gemini' 올리면 바로 뒤집어지겠지

[ㅇㅇ 2(121.136)]

2.0 -> 2.5 발전은 진짜 배로 좋아졌지

[익명(reach6666)]

[ㅇㅇ 3(125.177)]

2.5때야 보면 수긍되지만 딥씽크는 하위버전이라도 아가리털던 거 대비 폭망이던데 IMO 금메달 모델이나 기다려야지

[익명(nose8049)]

no tools로 aime 2025 99.1%면 폭망까진 아닌듯

[Moonchild(resolve0716)]

[ㅇㅇ 4(119.56)]

데이터 고갈 문제는 아직은 괜찮은건가

[익명(merge3772)]

잼플3가 gpt5 띵킹까지 침교육 가능할까 이건 그냥 꿈인가 프로라인이어야 가능하겠지

[이세이미야케(jkwarawara)]

[익명(sigh9970)]

[Weisser_Adler(adler1)]

[익명(hyeongim264)]

[점심밥(yield0917)]

[익명(rechido)]

[ㅇㅇ 5(115.126)]

곱연산으로 작용하는게 핵심이면 데이터 여러종류 확보하는게 맞긴 맞네

[천사다천사(jjtheman999)]

[익명(probably1874)]

[ㅇㅇ 6(211.112)]

계속 101% 제곱으로 학습하면 나중가면 무지막지한 수치가 되니

[산시야(logical6358)]