[📪정보] 7월 로이터 딸기 기사 돌아보기

[익명(121.178)]

해당 기사 내용

1. 로이터는 5월에 OpenAI strawberry(이하 딸기)에 관련된 내부 문서 사본을 얻음

2. 로이터에 소식을 전한 내부 직원은 OpenAI 내부에서조차 딸기의 작동 원리는 철저히 비밀로 유지된다고 말함

3. 해당 문서에 따르면 딸기 모델은 AI가 질문에 대한 답변을 만드는 것뿐만 아니라 인터넷을 자율적이고 안정적으로 탐색하여 OpenAI가 'deep research'라고 부르는 작업을 수행할 수 있을 만큼 미리 계획할 수 있도록 하는 프로젝트였음

-> 현재 공개된 o1의 기능은 질의응답뿐이지만, 최근 searchGPT 게시물에서 OpenAI는 이거 관련 내용을 슬쩍 흘렸음

심층적인 조사 (원문 deeper research)

4. 정보 제공자는 딸기가 STaR 논문의 방법과 유사하다고 말함. 이는 AI 모델이 반복적으로 자체 교육 합성데이터를 생성하여 더 높은 지능 수준으로 올라갈 수 있도록 해주는 방법. 이론적으로는 인간 지능을 초월하도록 사용할 수 있다는 STaR 개발자의 코멘트

5. OpenAI는 5월 문서 작성 당시 "deep research"라는 데이터 셋에 대해 모델을 만들고 평가하는 중이었음

6. 로이터는 당시 OpenAI가 MATH 벤치마크에서 90% 이상을 기록한 모델을 가지고 있다고 말함

-> o1이 94.8%를 달성한 것이 공개 이후 확인되며 사실로 판명

7. 문서와 출처에 따르면 OpenAI는 딸기의 기능을 사용하여 Computer-Using Agent를 만들어 자율적으로 웹을 탐색하며 연구를 수행하기를 원하고 있었음. 이 에이전트는 발견한 내용을 바탕으로 행동을 취할 수 있음.

8. OpenAI는 소프트웨어 엔지니어, 머신 러닝 엔지니어의 작업을 수행하는 기능을 테스트할 계획이었음

-> 이후 8월 SWE-Bench Verified 와 10월 MLE-Bench 나란히 공개되며 사실로 판명

돌아보면 로이터 적중률이 상당히 높아서 거의 믿어도 될듯

앞으로 어떤 것들이 공개될지 대략 짐작이 가능하다