1) 기업은 "실패한" 모델은 내려고 하지않음.
예를 들자면 GPT-4.5 같은 크기만 크고 비효율적인 모델은 GPT-4.1로 대체되었고 API는 곧 사라질 예정이듯이
2) o3이 지금 말투가 기계적이고 사소한 부분에서 찐빠가 나는 건 경량화말고 설명할 부분이 없음
왜냐면? o1이랑 o1 pro는 4o에서 자폐끼가 심해지긴 커녕 오히려 인간적인 면모랑 성능적 찐빠도 줄어든 육각형 모델이었거든
3) o3에게 캐릭터간의 VS 대결을 시켜보면 o3은 4o에 비해서 디테일이 떨어지고 엑스트라 캐릭터 몇명등을 모르는 경향이 있음
이건 o1때는 없었던 현상인데 o3부터 이런 증세가 시작되었다는건 확실히 합리적 의심을 해볼만 함, 이거 현상이 mini 모델 특유의 경량화 작업된 느낌과 유사하거든 ㅋㅋㅋㅋ
근데 만약에 이 모든 게 오해였고 정말 강화학습을 더 많이해서 이런 부작용이 생겼다고 쳐봐
그럼 애초에 LLM에게 RL을 적용하는 방법론 자체가 잘못된 길이라는 말이 되는거임
RL을 적용할수록 머리만 똑똑해지고 자폐끼가 강해지는데 회사에서는 왜 리스크 부담하면서까지 새로운 추론모델을 만들겠음?
경량화맞는디
출력 컨텍스트 제한은 새삼스러운 것도 아니라서
다만 그게 일반적으로 말하는 '경량화'는 아님. 그건 mini 붙은 거고
o3 쓰다보면 진짜 소주 3~4병 들이킨 느낌 가끔 멀짱해지는거보면 또 신기하다가 얼마 안가서 또 그러더라 - dc App
너프된 근거 : 제미니 딸깍한거 복붙 병신 ㅋㅋ
이건 또 뭔 억까노. 제미니면 이것보다 훨씬 더 잘썼겠지 ㅅㅂ
경량화 안한걸 프로로 낸거 아녀?
출력제한이랑 경량화랑 다르다