[🏆베스트] 오늘 o3-mini 시연으로 보여준 것

[익명(121.178)]

1. o3-mini(hard)에게 mac에서 o3-mini API를 사용해서 코드를 생성하고 바로 실행하는 프로그램을 UI와 함께 만들라고 지시

다음과 같은 내용에 대한 Python 스크립트를 작성해주세요:

HTML 파일을 로컬에서 서버로 실행하는 스크립트가 필요합니다. 이 HTML 파일에는 큰 텍스트 상자가 있어야 합니다. 텍스트 상자에 내용을 입력하고 제출 버튼을 누르면:

-해당 요청을 OpenAI의 o3-mini API로 전송해야 하며, medium reasoning_effort 설정을 사용합니다

-API로부터 받은 코드를 데스크톱의 임시 파일로 저장합니다

-새로운 파이썬 터미널에서 그 파일을 실행합니다

추가 세부사항:

-API 키는 ~/api_key 위치에서 찾을 수 있습니다

-API 요청 시 원시 코드만 반환하고 포매팅이나 마크다운을 전혀 포함하지 않도록 추가 프롬프팅을 넣어주세요

-Mac 노트북에서 실행될 예정입니다

2. 그렇게 해서 만든 코드

3.

3. o3-mini(hard)가 직접 만든 터미널

이제 저기에 아무거나 입력하고 submit을 누르면

o3-mini(medium) API를 통해 코드를 생성하고,

생성된 코드를 임시파일로 저장하고,

임시파일로 저장된 코드를 파이썬으로 실행하는 것 까지 수행

프롬프트에는 위처럼 간단하게 openai를 프린트하고 아무 숫자나 프린트하라고 시킴

4. 실행 결과

openai 41 이라고 결과가 나온 모습

(즉, o3-mini API로 프롬프트를 보내서 코드를 짰고, 그 코드의 실행 결과가 openai 41이 된 것)

5. 이제 좀 더 난이도를 높여서, o3-mini에게 너 자신의 GPQA 점수를 직접 평가하라는 프롬프트를 만듬

-특정 url로 들어가서 평가 데이터셋을 다운 받고, API 사용방법에 따라 제대로 코드를 짜야하고,

다운받은 데이터셋을 o3-mini(low) API로 보내서 결과를 얻고,

나온 결과를 Answer: 형태로 깔끔하게 나오게 해서 평가가 가능할 수 있게 해야함

그리고 async를 사용해서 병렬처리가 가능하게 하고, api 콜이 실패하지 않도록 robust하게 만들어야함

등의 지시 사항이 담김

6. 그렇게 해서 나온 결과

61.62%라고 점수가 바로 계산됨

자기 자신이 스스로를 원큐에 평가한 것

7. 그 뒤에 멘트들

"내년에는 모델에게 너 자신을 개선해라 라고 명령해봐야겠네요"

이 과정이 라이브에서 찐빠없이 이루어진게 개인적으론 매우 놀라웠음

o3-mini가 이정도면 o3는 그냥 말이 안되는 수준일듯

[니지카엘(eltldd001)]

[익명(number3560)]

엥 이거 시연 미니로 한거야?

[익명(121.178)]

ㅇㅇ o3-mini(hard)로 한거

[익명(number3560)]

hard는 뭐노

[익명(121.178)]

o3-mini는 컴퓨팅 사용량에 따라 low medium hard로 나올거라함. API만인지 ChatGPT에서도 그럴지는 모르겠지만

[익명(number3560)]

아하 땡큐

[익명(110.10)]

[은바다(nmra3fmzhxmg)]

[익명(antidebug99)]

[ㅁㄱㅌㅊ(39.122)]

"내년에는 모델에게 너 자신을 개선해라 라고 명령해봐야겠네요"

[Borazine(player4081)]

[한가운데(centerofworld)]

캬

[익명(ghdzhdqkswja0410)]

[익명(merge3772)]

[AMI(menu0307)]

하위 모델한테 코드를 짜라고 시키는 코드를 짰다는 거네ㄷㄷ

[수직(player5319)]

[익명(food6323)]

뭐야 ㄹㅇ 개쩔잖아?

[익명(sofa3407)]

[익명(114.200)]

살짝 에이전트 느낌 나는데?

[떼껄룩해적단(piracykitten)]

[익명(amazonia)]

ㅎㄷㄷ

[디시콘발사대(fcbjsjmu1t9f)]

[지수주의자(hurt8115)]

재귀개선 가즈아아아아아 - dc App

[익명(180.228)]

너 자신을 개선하라? 재귀개선의 길이 열렸네 진짜

[ㅇㅇㅇㅇㅇ(lsh0320jpgpw)]

느아아앙각 시발!!!

[익명(175.116)]

정답이 41인거 보면 내년에 agi 달성 목표인가바

[익명(121.175)]

41은 그냥 랜덤 숫자임

[익명(broad6196)]