[일반] 근데 생각해보니까 베이스모델의 스케일링은 이제 전혀 필요없지 않음?

[익명(butcher3417)]

베이스모델이 무거워봤자 잡다한 데이터만 많아지는 거 아님?

필요한 데이터만 최소로 잡고 O1 ~ O3처럼 추론모델 자체의 성능을 올려야지

O3도 4o 기반인거보면 이제 진짜 베이스모델의 성능향상은 의미가 없는 것 같은데

[익명(shore1232)]

베이스모델이 추론성능에 얼마나 영향을 줄지는 모름 비용부담땜에 아무도 못하고 있으니 뭐 확인도 못하지

[익명(butcher3417)]

내부 상황으로는 모르지 이미 GPT-5 같은 ㅈㄴ 무거운 모델에 O3급 추론모듈 달아서 실험중일 수도 있고...

[익명(58.120)]

트레이드오프가 없어진다면 그때부턴 비용문제겠지

[콜라조무사(tkatjdrhdghkrnr123)]

동시에 얼만큼 많이 아는가는 문제를 완전 새롭게 풀수 있게 해주죠

[익명(butcher3417)]

GPT-4만 해도 인터넷의 거의 모든 데이터 집합해놓은거 아님?

[익명(211.187)]

그렇다기엔 o1은 능지만 좋아졌지 찐빠내는 부분 보면 4o가 하는 짓 그대로 하고 있어서

[익명(butcher3417)]

근데 o3 베이스모델도 4o 아닌가. GPT-4도 거의 모든 인터넷 데이터 집합체인데 여기서 더 체급이 커질 수가 있음?

[익명(211.187)]

경량의 문제가 아니라 그냥 순수하게 구린거

[익명(butcher3417)]

기존 LLM이 거대한 하드라고 생각하면 추론모듈의 성능이 압도적으로 좋아지면 찐빠도 사라질 것 같은데. 정 필요하면 추가정보는 인터넷에서 찾아오면 되니까...

[익명(211.187)]

베이스모델이 무슨 웹 정보 압축파일같은 게 아님

[익명(butcher3417)]

그러니까 비유잖아. LLM 하나에 인터넷 거의 모든 데이터를 압축해놨는데 여기서 더 유의미하게 담을만한 데이터가 있냐고.

[빙냥이ㄱㅇㅇ(6zd2cxvc44h4)]

이 사람은 스케일링로가 뭔지 모르는 듯