[📪정보] 그냥 이미 끝난 이유

[익명(121.178)]

o1 개발자 인터뷰 내용

- o1-preview는 o1모델의 초기 체크포인트로 크지도 작지도 않습니다.

o1 preview는 그냥 합성데이터 덜 사용한 초기 체크포인트이고

정식 o1은 거기서 더 합성데이터 쓴 모델일거임

그리고 벤치마크 점수 차이는 상당함

이게 이미 재귀개선이지.

개발진들이 매달 빠르게 좋아질거라 자신한 것도

합성데이터 더 투입하면 끝이기 때문

아래는 합성 추론데이터 관련 o1 연구진 인터뷰

"제게 가장 놀라웠던 순간은,

강화학습을 사용해서 생각의 사슬을 스스로 생성하고 다듬는 모델을 훈련시키면

사람이 생각의 사슬을 제대로 만드는 것보다 더 나은 성과를 낼 수 있다는걸 본 순간이었습니다."

- dc official App

[MoonChild(aowlr2001)]

[익명(183.100)]

o2는 엄청나겠구나

[낭만적특이점(next1842)]

인터뷰 링크 있음?? 함 보고싶은데

[익명(121.178)]

위에꺼
https://m.dcinside.com/board/thesingularity/523475
아래꺼
https://m.dcinside.com/board/thesingularity/540231
위에는
영상은 어디서 보는지 모르고
아래껀 oai 공식 유튜브에 있음 - dc App

[낭만적특이점(next1842)]

오 ㄳㄳ

[수직(player5319)]

[음메엥(lightboxer)]

[초존도초(htr3c654r6ft)]

초기체크포인트라는 말은 학습이 덜 된 상태... 낮은 에폭에서 대충 학습 중단했다는 말임 데이터셋도 물론 적게 썼을 가능성도 있긴 하지만 - dc App

[익명(121.178)]

o1 mini가 o1보다 훨씬 작은 모델일텐데 preview 보다 수학, 코딩은 더 잘하기도 하는걸보고 정식 o1이랑 o1 preview랑 데이터셋 차이도 좀 있지 않을까 생각했는데 걍 학습 덜돼서 그럴수도 있긴하겠네

[익명(121.178)]

그래도 합성데이터는 넘 기대된다

[익명(121.178)]

계속 매달 빠르게 발전할거라 예고한건 사실이니꼐

[초존도초(htr3c654r6ft)]

미니랑 프리뷰는 뭔가 파라메터 수 자체가 다른 거 같던데 추론 속도 보면 3.5랑 4처럼 다르던데 초기체크포인트 내용은 프리뷰 갖고 얘기했던 거 같음 - dc App

[익명(121.178)]

ㅇㅇ... 미니는 프리뷰랑 파라미터 수 다르지. 훨씬 더 작을텐데도 STEM 관련된걸 preview보다 오히려 잘하니까 데이터셋 차이가 있지 않을까 생각햇다는 뜻이었음.

[익명(121.178)]

근데 그게 걍 데이터셋 크기는 같은데 학습이 덜 진행돼서 그렇다는 것도 가능성은 있어보인다는 말