o1 등장했을때 진짜 수고했다 끝났다 확정이다 이런 분위기였는데



막상 여러 분야 강화학습 돌려보니 생각보다 일반화가 잘 안되는 문제가 발생


결국 GPT-5, Opus4처럼 파인튜닝으로 지능도 꾸준히 올리면서 실용성있는 맛을 잘 뽑아내는 기술이 중요해졌고


Gemini 2.5도 3월부터 파인튜닝으로 몇달을 이랬다 저랬다 고민했던거 보면 더욱 그런거같음



그록4는 강화학습 오지게 때려박아놓고 파인튜닝은 덜 된 대형모델 그 자체의 느낌



일리야도 퇴사 시기 생각해보면, 아마 CoT로 추론 뚫고 진짜 AGI 코앞이다 생각하고 나간거같은데


지금 프론티어 업체들하고 비슷한 어려움을 겪고 있으려나, 극복했다면 어케 했을지 궁금함