agi 인정받는 상금 기준이 85라서 


인간은 당연히 85점은 넘는 테스트인줄 알았는데 그게 아님 


https://arxiv.org/pdf/2409.01374


1729명 모집해서 테스트를 한 결과 

퍼블릭 테스트에서 인간은 68.9퍼센트의 정답률을 기록함 

이것도 3번의 시도를 해서 틀리면 틀렸다고 말해주고 , 3번 시도안에 맞히면 정답으로 처리하는 방식 

퍼블릭 테스트 문제보다 트레이닝 셋 문제가 정답률이  더 높았는데 (난이도는 비슷하게 설정했다고 하는데 차이가 발생한 이유는 모르겠다고 함 , 심지어 트레이닝 셋보다 퍼블릭 테스트할때 평균 문제 푸는 시간도 더 걸렸는데 (4>6분) 이유는 그냥 추측만 할뿐) 거기서도 평균 76.2 퍼센트 정도 (이것도 3번 시도중 맞히면 되는 방식) 


참고로 o3 는 막대한 비용을 들이지 않은 o3 라도 세미 기준 75.7퍼센트 , 퍼블릭 테스트 기준으로는 82.8퍼센트를 기록함 


 o3는 막대한 비용을 들여야 인간 수준의 정답률을 기록한다가 아니라 

현실적인 비용으로도 충분히 인간 수준의 정답률을 기록했다고 볼 수 있음 

agi는 생각보다 더 가깝다