코딩 레이팅 2727 받고
프론티어 매쓰 25.2 퍼 받을때
그래프보면 진한 부분이랑 연한 부분이 있음
난 처음에는 그냥 당연히 pass 1이랑 con32 아니면 64 이렇게 생각했는데 o1 때도 그런 의미 였으니
oai 직원이 이 2개 언급할때 가장 공격적인 컴퓨팅 시간 설정을 했을때라고 말함
그럼 이 벤치 자료가 @1 이긴한데 arc agi 87.5 받을때처럼 막대한 비용을 들인 풀파워 o3 벤치 같기도
이건 특별히 설명히 없어서 걍 궁예짓 해봄 ㅋㅋ
그게 low랑 high인 걸로 알고 있는데
아 혹시 따로 openai가 설명한 거 있음? 보고 싶음
맞음 나도 첨에 그거보고 당연히 다수결같은건 줄 알았는데 OAI 연구원이 25.2% 찍은거 pass@1이라고 트윗에 올려서 놀람. high 설정 앚는듯 - dc App
어 그거 트윗 링크 좀 줄 수 있음 ? 보고 싶네
찾았음 아무튼 땡큐