2024년 7월 12일 - ChatGPT 개발사 OpenAI는 내부 문서와 이 사안에 정통한 인물을 통해 확인된 바에 따르면, "Strawberry"라는 코드명을 가진 자사 인공지능(AI) 모델에 대한 새로운 접근 방식을 개발 중이다. 이 프로젝트는 Microsoft가 후원하는 OpenAI가 자사의 모델이 고급 추론 능력을 제공할 수 있음을 입증하기 위해 급히 진행하고 있는 일환이다.

OpenAI 내부 팀들은 최근에 Reuters가 5월에 확인한 OpenAI의 내부 문서 사본에 따르면 Strawberry 프로젝트를 진행 중이다. Reuters는 해당 문서의 정확한 날짜를 확인할 수 없었으며, 이 문서에는 OpenAI가 Strawberry를 사용하여 연구를 수행할 계획이 상세히 설명되어 있다. 한 소식통은 이 계획이 진행 중인 작업이라고 설명했으며, Strawberry가 언제 공개될지 알 수 없다고 전했다.

어떻게 Strawberry가 작동하는지는 OpenAI 내부에서도 철저히 비밀에 부쳐지고 있다고 그 인물은 말했다. 문서에 따르면 OpenAI는 Strawberry 모델을 사용하여 단순히 질문에 대한 답을 생성하는 것이 아니라, 인터넷을 자율적으로 탐색하고 신뢰성 있게 '깊은 연구'를 수행할 수 있는 계획을 수립할 수 있게 하는 것을 목표로 하고 있다고 소식통은 전했다. 이는 현재까지 AI 모델이 달성하지 못한 영역이며, 12명 이상의 AI 연구원들과의 인터뷰에 따르면 여전히 해결되지 않은 과제라고 한다.

Strawberry 및 이 이야기에서 보도된 세부 사항에 대해 묻자, OpenAI 대변인은 "우리는 우리의 AI 모델이 세상을 우리처럼 보고 이해할 수 있기를 원합니다. 새로운 AI 능력에 대한 지속적인 연구는 이 업계의 일반적인 관행이며, 이러한 시스템이 시간이 지남에 따라 추론 능력에서 개선될 것이라는 공통된 믿음을 가지고 있습니다."라고 성명을 통해 말했다. 대변인은 Strawberry에 대한 질문에는 직접적으로 답변하지 않았다.

Strawberry 프로젝트는 이전에 Q*라는 이름으로 알려졌으며, Reuters가 작년에 보도했듯이 이미 OpenAI 내부에서는 이를 중요한 돌파구로 보고 있었다. 두 명의 소식통은 올해 초에 OpenAI 직원들이 보여준 Q* 데모를 본 적이 있으며, 상업적으로 이용 가능한 모델들이 해결하지 못했던 까다로운 과학 및 수학 문제들을 해결할 수 있었다고 전했다.

다른 소식통은 OpenAI가 내부적으로 테스트한 AI가 수학 챔피언십 문제들을 다루는 벤치마크인 MATH 데이터셋에서 90% 이상의 점수를 기록했다고 보고했다. Reuters는 이것이 Strawberry 프로젝트와 관련이 있는지 여부를 확인할 수 없었다.

화요일에 진행된 OpenAI의 전체 직원 회의에서, OpenAI는 인간과 유사한 새로운 추론 능력을 가진 연구 프로젝트의 데모를 보여주었다고 Bloomberg가 보도했다. OpenAI 대변인은 그 회의가 있었다는 사실을 인정했지만, 그 내용에 대한 구체적인 세부 사항은 제공하지 않았다. Reuters는 그 데모가 Strawberry 프로젝트인지 여부를 확인할 수 없었다.

OpenAI는 이 혁신을 통해 자사의 AI 모델의 추론 능력을 극적으로 향상시키길 희망하고 있으며, 이와 관련된 소식통은 Strawberry가 매우 큰 데이터셋을 기반으로 미리 학습된 AI 모델을 특별한 방식으로 처리하는 과정을 포함한다고 말했다.

Reuters와 인터뷰한 연구원들은 AI가 인간 또는 초인적인 수준의 지능을 달성하기 위해 추론이 핵심이라고 말한다.

거대한 언어 모델들은 이미 방대한 텍스트를 요약하고 사람보다 훨씬 빠르게 우아한 문장을 작성할 수 있지만, 논리적 오류를 인식하거나 틱택토 게임을 하는 것과 같이 사람에게는 직관적인 문제를 해결할 때 흔히 부족함을 보인다. 모델이 이러한 문제에 직면했을 때, 종종 "환각"이라고 불리는 잘못된 정보를 생성하곤 한다.

Reuters와 인터뷰한 AI 연구원들은 대체로 AI에서의 추론이란 AI가 사전에 계획을 세우고 물리적 세계가 어떻게 작동하는지 반영하며, 도전적인 다단계 문제들을 신뢰성 있게 해결할 수 있는 모델을 형성하는 과정이라고 본다.

AI 모델의 추론 능력을 개선하는 것이 새로운 소프트웨어 애플리케이션을 계획하고 구축하는 것에서부터 중요한 과학적 발견을 하는 것에 이르기까지 다양한 작업을 가능하게 하는 열쇠로 여겨진다.

OpenAI의 CEO Sam Altman은 올해 초 AI에서 “가장 중요한 발전 영역은 추론 능력에 있을 것”이라고 말했다.

Strawberry는 OpenAI의 이러한 문제들을 극복하기 위한 핵심 요소라고 이 사안에 정통한 소식통은 밝혔다. Reuters가 확인한 문서에는 Strawberry가 무엇을 목표로 하고 있는지 설명되어 있었지만, 그 방법에 대해서는 구체적으로 언급되지 않았다.

최근 몇 달 동안 OpenAI는 개발자들과 외부 이해관계자들에게 자사의 기술이 매우 발전된 추론 능력을 갖춘 기술을 곧 출시할 것이라는 신호를 비공식적으로 보내왔다고 네 명의 소식통이 말했다. 이들은 비공개 사안에 대해 언급할 권한이 없어 익명을 요청했다.

Strawberry는 OpenAI의 생성형 AI 모델을 "사후 훈련(post-training)"하는 전문적인 방법을 포함한다고 소식통 중 한 명은 전했다. 사후 훈련은 이미 방대한 일반화된 데이터에 대해 학습된 모델을 특정 방식으로 성능을 조정하는 과정으로, 오늘날 거의 모든 언어 모델에 사용되는 프로세스인 "미세 조정(fine-tuning)" 같은 방법들이 포함된다. 미세 조정은 모델의 응답에 기반하여 사람이 피드백을 주거나, 좋은 답변과 나쁜 답변의 예시를 모델에 제공하는 방식으로 이루어진다.

Strawberry는 2022년 Stanford에서 개발된 "자가 학습 추론자(Self-Taught Reasoner, STaR)"라는 방법과 유사한 점이 있다고 이 사안에 대해 알고 있는 한 소식통이 전했다. STaR은 AI 모델이 자체적으로 훈련 데이터를 생성하면서 더 높은 수준의 지능에 도달할 수 있게 하는 방법이며, 이론적으로는 언어 모델이 인간 수준 이상의 지능을 초월할 수 있게 하는 방법이라고 Stanford 교수 Noah Goodman은 Reuters와의 인터뷰에서 말했다.

Goodman은 "그 방향으로 계속 나아가게 된다면 우리가 인간으로서 심각하게 고민해야 할 것들이 있다고 생각한다"며 "흥미롭고 동시에 무섭다"고 말했다. Goodman은 OpenAI와는 관계가 없으며, Strawberry에 대해 알고 있지는 않다.

OpenAI가 Strawberry를 목표로 하는 기능 중 하나는 장기 과제(long-horizon tasks, LHT)를 수행하는 것이라고 문서에 명시되어 있으며, 이는 모델이 사전에 계획을 세우고 오랜 시간 동안 일련의 행동을 수행해야 하는 복잡한 과제를 의미한다고 첫 번째 소식통은 설명했다.

이를 위해 OpenAI는 자사의 모델을 "깊은 연구(deep-research)" 데이터셋을 사용하여 훈련하고 평가하고 있으며, OpenAI 내부 문서에 따르면 이 데이터셋이 무엇을 포함하는지 또는 얼마나 오랜 시간이 걸리는지에 대해서는 Reuters가 확인할 수 없었다.

OpenAI는 이러한 능력을 사용하여 자율적으로 웹을 탐색하고, 컴퓨터 사용 에이전트(CUA)의 도움을 받아 연구를 수행할 수 있는 모델을 개발하려 한다고 문서와 한 소식통이 밝혔다. OpenAI는 또한 소프트웨어 및 머신러닝 엔지니어들의 작업을 수행하는 능력을 테스트할 계획이라고 한다.