[일반] 4.5도 나름 의미있는 모델임

[익명(casual4750)]

4.5 증류하고 코딩 특화시킨게 4.1 모델들

그냥 증류만 한게 4o임

4.5는 잘못한게 늦게 나온거랑 효율성 ㅈ박은거 밖에 없음

[얀르쿤(indoor4684)]

스케일링 법칙이 부정당해서 좀 충격이 컸음 - dc App

[ㅇㅇ 1(121.132)]

어느 부분에서 부정됨?

[얀르쿤(indoor4684)]

@ㅇㅇ1(121.132) 아니 스케일링 법칙이 깨진건 아닌데 효율이 개 ㅆ똥이여서 문제인거지 체급 대비 실성능이 그렇게 별로 좋아진건 아니잖아 - dc App

[익명(shore1232)]

ㄴㄴ 딱 스케일링법칙에서 예측하는만큼 좋아졌음 더이상 우리들의 눈이 그수준에서 만족할 수 없을 뿐.. 지금이 gpt3.5 시절이 아니잖아

[얀르쿤(indoor4684)]

@ㅇㅇ ?? 맞음? 그때 4.5처음 나왔을때 체급대비 성능 개똥이라고 그랬었는데 그때 스케일링 법칙이 깨진건 아닌데 무슨 우리가 원하는 성능이 될라면 지구를 데이터 센터를 덮어야한다 하지 않았다 - dc App

[ㅇㅇ 1(121.132)]

@얀르쿤 추론 스케일링 효율이 훨씬 나아서 그렇지 베이스모델 스케일링 기준으로 벤치에서 기대 이상의 향상 폭을 보여줌 추론 안 나왔으면 음.. 착실하게 스케일링 법칙대로 가고 있네 2029 agi let's go 하고 있었을걸

[익명(shore1232)]

@얀르쿤 체급대비 성능 개똥이라고 한건 그당시 이미 특붕이들 눈이 추론 컴퓨팅 스케일에 맞춰져서 그런거임. 추론 컴퓨팅 스케일링은 베이스모델 파라미터 스케일링에 비해 기적적인 수준으로 좋음. 베이스모델 한계론도 이래서 나오는거임. 이대로는 스타게이트 때려박아봐야 베이스모델로 O1도 못이김

[얀르쿤(indoor4684)]

@ㅇㅇ 오 그럼 추론 같은 혁신 한 번만 더 일어나면 25agi 진짜 될 수 도 - dc App

[Protactinium(comic9287)]

@얀르쿤 스케일링 성능량상은 로그적이라고 560015번말함

[얀르쿤(indoor4684)]

@Protactinium 특갤 3년했는데 이것도 모르고 있었노;; - dc App

[ㅇㅇ 2(121.178)]

추론이랑 결합되는거 빨리 보고싶네 - dc App