50 프로라고 나왔는데 이게 어떻게 나온 수치냐면

public eval 테스트 중 10개를 임의로 추출해서 그중 5개를 맞힌거임 

표본이 너무 적고 , 특히  public eval 점수보다 semi private 점수가 모든 인공이 더 낮았음 


그래서 o1 pro의 50은 실제 보다 훨씬 잘 나왔을 가능성이 크다 

트위터에서도 찾아보면 o1 pro의 점수는 ~50 이런식으로 나와 있을텐데 이런 이유임