SWE 벤치는 비추론으로 80.9%
터미널 벤치는 128K 추론 설정으로 59.3%고, 64K 추론 설정은 57.8%임
공홈이 24K 추론인가 그렇고, 클코 ultrathink가 32K 추론인가 그럼
코덱스 맥스는 코덱스 CLI를 하네스로 쓴 결과인데, 오퍼스 4.5도 클로드 코드를 하네스로 써서 얼마인지 추론 토큰별로 냈으면 비교가 명확했을텐데 궁금해지네
interleaved scratchpads는 모델에게 메모 공간 준 거 같은데, 이거도 유무가 갈리지 않나 싶음
댓글 0