최근에 otis mock  이라고 aime보다 약간 어려운 수준으로 문제를 만들어서 풀게 하는 대회가 있음  2026년에도 똑같이 대회가 열림 



22a9d935e8dd3bad3ce998a518d604038caf090952f7071772


학생들 점수는 대충 이정도인데 만점자는 없었음 


5.3 codex에서 xhigh 설정으로 도구 사용 금지 걸고 문제를 풀게함  

결과는 만점인데 솔직히 이게 중요한게 아니라 토큰 사용양을 측정해봄 

Token usage: total=3,199 input=2,592 (+ 7,552 cached) output=607 (reasoning 394)

Token usage: total=4,654 input=3,682 (+ 6,528 cached) output=972 (reasoning 661)
Token usage: total=5,463 input=3,653 (+ 6,528 cached) output=1,810 (reasoning 1,503)
Token usage: total=2,168 input=600 (+ 9,600 cached) output=1,568 (reasoning 1,199)
Token usage: total=10,507 input=575 (+ 9,600 cached) output=9,932 (reasoning 9,365)
Token usage: total=2,049 input=603 (+ 9,600 cached) output=1,446 (reasoning 1,070)
Token usage: total=1,503 input=651 (+ 9,600 cached) output=852 (reasoning 603)
Token usage: total=6,199 input=556 (+ 9,600 cached) output=5,643 (reasoning 5,118)

몇개는 자동으로 메시지가 사라져서 15개 문제를 다 가져오진 못했음 , 제일 많이 사용할때는 추론 토큰  1만개 정도 사용한 문제가 있지만 2만개는 없었음  

근데 대충 봐도 xhigh인데 추론 토큰을 상당히 적게 사용했다는걸 알 수 있음 추론 토큰이 몇백개 1천개 이정도면 걍 비추론 모델한테 물어볼때 토큰 소비양인데 
xhigh 수학문제에 이정도 토큰만 사용하더라 

내가 볼때는 5.2보다 5.3에서 사전학습모델의 성능이 많이 올라간거 같음 나중에 5.3이 나와봐야 알겠지만