[📪정보] 사전학습은 죽지 않았다, 단지 휴식 중일뿐

[익명(121.178)]

OpenAI 연구원 2명이 검토해준 글

GPT-4 출시 후 2년 동안, OpenAI가 내놓은 모든 모델은 이전보다 규모가 작았습니다. 그런데 2025년 2월 27일, 마침내 방향이 바뀌었습니다. OpenAI가 “비지도 학습 패러다임 확장의 다음 단계”라 부르며 GPT-4.5를 공개한 것입니다. 사람들은 이렇게 반응했습니다:

(GPT-4.5가 실망스럽다는 트윗 사진)

그러나 출시 비디오가 모델에 그다지 도움이 되지는 못했습니다. GPT‑4o 대비 성능 향상이 얼마나 미미한지, 비용이 50분의 1에 불과한 o3-mini보다도 성능이 떨어진다는 점을 강조했기 때문이죠.

모델이 공개된 지 한 달 반 만에, 이미 사용 중단(deprecation) 계획이 발표되었습니다.

왜 GPT‑4.5는 실망을 안겼나?

2023년 GPT-4가 출시되었을 때, 이는 전례 없는 도약으로 여겨졌습니다. GPT-3.5를 대부분의 벤치마크에서 크게 앞섰고, 일부 항목에서는 인간 수준까지 도달하기도 했습니다.

GPT-4 출시 시 공개된 개발자 라이브스트림에서는, 손으로 그린 와이어프레임을 단 한 번의 요청으로 완전한 웹사이트로 변환하는 등 GPT-3.5 시절에는 상상하기 어려웠던 여러 기술 시연이 이루어졌습니다.

그에 비해 GPT‑4.5는 도약이라기보다는 소폭 개선에 그친 느낌이었죠.

가장 큰 이유는 그 사이에 출시된 수많은 모델들이었습니다. OpenAI 내부에서도 GPT-4, GPT-4 Turbo, GPT-4o의 여러 버전, o 시리즈 추론 모델 등 크고 작은 업데이트가 이어졌습니다. GPT-4에서 GPT-4.5로 단순히 사전 학습 연산량만 늘렸을 때의 이득이 무엇인지 가시적으로 파악하기 어려웠고, “사전 학습(pre‑training)이 막다른 길에 다다른 것인가?”라는 의문을 불러일으켰습니다.

사전 학습은 정말 막다른 길인가?

사전 학습 연산량만 변화시킬 때 어떤 일이 벌어지는지 알아보려면, 자연스러운 실험 대상이 필요합니다. 메타(Meta)가 2024년에 내놓은 Llama 3 텍스트 전용 모델 8종이 그 예입니다. 이 모델들은 1B(10억)에서 405B(4천억) 파라미터에 이르기까지 다양하며, 8개월 동안 순차적으로 공개되었기 때문에 연산 효율 개선 폭이 비교적 작았다고 가정할 수 있습니다.

이들 모델로부터 사전 학습 연산량과 벤치마크 성능 사이의 스케일링 관계를 추정할 수 있고, 이를 통해 GPT-4에 비해 10배 많은 연산을 투입한 GPT-4.5가 이론적으로 어느 정도 성능을 보여야 하는지 예측해볼 수 있습니다¹.

그 결과, GPT-4.5는 사전 학습 스케일링 추세를 충실히 따르고 있으며, 오히려 살짝 웃도는 수준으로 보입니다².

즉, “스케일링은 여전히 유효하다”는 결론입니다. 그럼에도 불구하고 대부분의 최첨단 모델이 GPT-4보다 오히려 작아진 이유는, 연구자들이 훈련 과정의 다른 단계들에서 훨씬 적은 비용으로 더 나은 성능을 끌어내는 기법들을 발견했기 때문입니다.

중간 및 사후 훈련 기법의 부상

2024년 중반에 등장한 GPT-4o나 Claude Sonnet 3.6 같은 모델들은, GPT-4 대비 4∼8배 작으면서도 비슷하거나 더 우수한 성능을 보였습니다. 이는 다음과 같은 중간 훈련(mid‑training) 및 사후 훈련(post‑training) 기법 덕분이었습니다:

1. 고급 데이터에 대한 어닐링(annealing): 품질이 더 높거나 분포가 다른, 또는 더 긴 컨텍스트 데이터를 활용

2. 합성 데이터 기반 명령어 튜닝(instruction‑tuning)

3. 인간 및 AI 피드백을 활용한 선호도 튜닝(preference‑tuning), 예컨대 RLHF(강화학습 기반 인간 피드백)

4. 생각의 사슬(chain‑of‑thought, CoT)에 대한 강화학습(RL): 2024년 말~2025년 초에 나온 o1, o3 시리즈가 그 대표 사례

특히 CoT-RL은 특정 도메인에서 성능을 급격히 끌어올리는 데 탁월했습니다.

모델 훈련의 미래

CoT와 RL을 확장하는 전략은 당분간 계속될 것입니다. 그러나 언젠가는 산업 전반이 다시 사전 학습으로 돌아올 시점이 옵니다. 그 이유는 결국 서빙(serving) 비용의 경제학에 있습니다.

1. 도메인별 RL 비용

고객이 다양한 용도를 요구하면, 각 도메인마다 RL을 수행해야 합니다. 그런데 한 영역에 대한 RL은 타 영역 성능을 저하시킬 수도 있습니다. 실제로 채팅용으로 RLHF를 거친 모델은, 덜 튜닝된 모델보다 체스 실력이 떨어지는 경우가 많습니다. 또한 RL은 비용이 만만치 않습니다⁴.

2. CoT 토큰 비용

추론 시 CoT 토큰을 많이 사용하면 서빙 비용이 크게 늘어납니다. 언젠가 “더 큰 모델이 필요한 CoT 토큰 수를 줄여줌으로써 총 비용을 절감하는” 시나리오가 주류가 될 것입니다⁵.

이 두 가지를 모두 만족시키는 해법은, 더 똑똑하고, 범용적인 지능을 갖춘 모델을 사전 학습만으로 구축하는 것입니다. 이는 바로 사전 학습이 제공하는 장점이기도 합니다⁶.

따라서 사전 학습은 결코 죽지 않았습니다.

단지 휴식 중일 뿐이며, 앞으로도 OOM 확장은 계속될 것입니다.

https://tmychow.substack.com/p/pre-training-isnt-dead-its-just-resting?triedRedirect=true

Pre-training isn't dead, it’s just resting

[익명(jonpark75)]

어렵다. 일단 학습에 대한 이야기인 듯 한데.. 이해 불가다

[익명(115.139)]

념글 논문에서는 더 올리면 오히려 구려진다던데...단순히 저런 간접적인 벤치로 판단하면 변인통제가 너무 안되는거 아닌지 흠

[글쓴 ㅇㅇ(121.178)]

그 논문하고 핀트도 약간 다르긴하지만 그 논문도 결국 점수로 판단한거임. 그것도 굉장히 지엽적인? 특수한 방식으로. 지식 그래프만으로 만든 합성 데이터로 사전학습 환경을 가정한거고 실제 LLM 학습 텍스트랑 다름

[익명(merge3772)]

[ㅇㅇ 1(49.164)]

강화학습으로 한 분야 성능을 끌어올릴 때 다른 성능이 떨어지는 저게 딱 망각 현상인데 다시 지속학습 붐이 오려나?

[ㅇㅇ 1(49.164)]

o3, o4가 환각현상이 오히려 늘어난것도 결국 망각때문

[이세이미야케(jkwarawara)]

[레알팜(lottohelp)]

[ㅇㅇ 2(211.189)]

좋은 글이네

[ㅇㅇ 3(1.254)]

유용한 글 개추

[멘토스(gblzvhbddpj2)]

[람냥(qorwhddlrz)]

gpt5는 대체 어떻게 나오려는걸까나..

[익명(landofooo)]

혹시 파라미터들 크기 다 추측인가 제대로 공개된거 없나