위 영상에 자세히 나와 있으니 보면 됨 대충 결론만 요약하자면
올림피아드보다 약간 쉬운 AIME 는 정답률 96.7% 찍었고
https://artofproblemsolving.com/wiki/index.php/American_Invitational_Mathematics_Examination
박사 수준 인간 평균 65~74%인 대학원 과학분야 벤치마크는 87.7% 찍었음
SWE 벤치는 실제 세계 코딩 능력 평가하는 벤치니까 넘겨두고
예전에 구글이 IMO 은상 탔던거처럼 따로 풀이용 모델 만들어서 한게 아니라 훈련시킨 LLM 그대로 써서 코포 레이팅 2727
정확하진 않지만 푸트넘으로 따져서 10위권대 이상 정도로 볼 수 있을듯
일반지능 테스트용 ARC AGI 비공개 데이터 벤치마크, 컴퓨팅 자원에 따라 75.7~87.5% 달성했고, 73~77퍼대가 인간 평균임
(하지만 벤치마크가 우회 가능하면 신뢰성이 떨어진다는 얘기도 있어서 이런 것도 할 수 있다고 보면 좋을듯)
그리고 수학자들이 모여서 만든 대망의 frontier math 벤치마크 연구자도 자기 분야 아니면 문제 접근도 모를정도로 방대함
난이도도 만만찮아서 타오조차 몇년은 걸려야 뚫을거라 말했던게 한두달밖에 안돼서 뚫림
어두운 부분은 질문 1트만에 성공한거고 밝은 부분은 질문 여러번 돌린 후에 여러가지 답변들 다수결로 뽑아서 맞은 거임
놀라운 점은 기존 o1에서 새로 나온 패러다임(TTC)으로 스케일만 늘려서 훈련시켰을 뿐이고
이전에도 스케일 늘려서 성능이 좋아졌지만 그게 대략 1.5년 단위였다면 이번엔 고작 3개월만에 이렇게 됐다는 거
ㅅㅂㅋㅋㅋㅋㅋ
곧 리만가설 풀리겠네 좋다
인간따잇하는재미 - dc App
프론티어 매스 따잇은 크긴하다
프론티어매스 벤치는 난이도별로 있어서 아마 대부분 쉬움~중간 문제를 풀었을 거라 다들 그렇게 추측중 물론 그정도도 대학원 이상 수준이고 푸트넘같은 문제랑은 차원이 다르게 어렵지 사람이 풀려면 적어도 수시간 수일 걸리니까 openai 연구원 말로는 내년까지 어려움도 뚫을 수 있다는데 봐야 알듯