2cafd368f5dc3f8650bbd58b3680756c487298

인간 대상으로 arc agi 테스트를 했을대 결과 

1 샷에서 틀리면 , 어디가 틀린지는 말 안해주고 , 일단 틀렸다고만 말함 

틀렸다는 지적을 받으면 인간은 정답률이 눈에 띄게 올라가는걸 알 수 있음 

3샷에선 ,  그보다 상승폭은 낮지만, 여전히 정답률이 올라가는 모습 

다음에 테스트를 할때는 단순히 정답률만 보지 말고 오답이라고 지적했을때 인간만큼의 상승폭을 보이는지도 확인해야 할듯 


솔직히 정답률만 따지면 지금 o3가 높은 컴퓨팅 비용을 사용하지 않더라도 이미 인간 수준의 정답률을 기록했다고 볼 수 있음