[📪정보] 로건 : "사전학습 1% 이득은 기하급수적 증폭된다"

[익명(121.178)]

(구글 직원 Logan)

"Gemini 2.5가 그렇게 훌륭할 수 있었던 이유는 '사전학습, 사후학습, 강화학습'이라는 세 가지 독립적인 스케일축에서 모두 병렬적으로 혁신하고 확장했기 때문입니다.

사후학습은 지난 1.5년 동안 가장 얻기 쉬운 이득 중 하나였으며, 강화학습은 나머지 두 축들 보다도 더욱 확장하기가 쉽습니다.

그래서 우리는 이 세 가지 축들을 계속해서 확장해 나갈 수 있습니다.

또한 이 축들의 각각 이득은 선형적이 아니라 곱셈적으로 늘어납니다.

즉, 예를 들어 사전 학습에서 1%가 개선되면 그 효과가 사후 학습에서 증폭되고, 추론(RL) 단계에서 기하급수적으로 증폭됩니다.

구글은 이러한 세 가지 축의 확장을 위해 앞으로도 계속 투자할 것으로 보입니다."

스케일링의 곱셈 법칙 Let's go

https://youtu.be/3EQtzP92Z0U?si=T_9duVSa4RIUFJ_j

[혼음천(loud7468)]

[Asi(worship5388)]

지수발전 쩌 엉

[난모르것다(farewell1592)]

결국은 사전학습을 조금이라도 개선하는게 제일 중요하단 소리네

[난모르것다(farewell1592)]

추후에 개선하고 추론하고 해봤자 기본체급 똑똑한놈 못이긴단 소리 같은데

[글쓴 ㅇㅇ(121.178)]

GPT-4.5 reasoning let's go

[ㅇㅇ 1(211.105)]

앞으로 곱셈주의자임 ㅇㅇ

[초존도초(htr3c654r6ft)]

[츠루히메.(tkdwjd96337d)]

폭발 폭발 폭발!!! - dc App

[asi2026(dart5404)]

[은바다(nmra3fmzhxmg)]

더빨리 발전시켜

[익명(simply9826)]

[익명(metaphor9241)]

복리의 마법 lets go

[점심밥(yield0917)]

[낭만적특이점(next1842)]

[디시콘발사대(fcbjsjmu1t9f)]

지능 ^ 피지컬 ^ 장비

[멘토스(gblzvhbddpj2)]

[ㅇㅇ 2(211.112)]

제곱으로 증폭인건가