[📪정보] 오픈AI 거대언어모델 'o3', 과학 분야 답변 평가에서 1위

[사이언스2.0(exchange7361)]

https://n.news.naver.com/mnews/article/584/0000033336

오픈AI 거대언어모델 'o3', 과학 분야 답변 평가에서 1위

오픈AI가 개발한 거대 언어모델(LLM) 'o3'가 과학분야 질문 답변 평가에서 압도적 1위를 차지했다고 네이처가 10일(현지 시간) 보도했다. 이는 마이크로소프트 공동창업자 폴 앨런이 설립한 비영리 인공지능 연구기관 '앨런 인공지능연구소'가 지난주 공개한 혁신적인 벤치마킹 플랫폼 '사이아레나(SciArena)'를 통해 확인된 결과다.

사이아레나는 AI 모델의 특정 작업 성능을 평가하기 위해 개발된 최신 플랫폼으로, 이번 연구에서는 23개의 최신 LLM을 대상으로 △자연과학 △공학 △보건의료 △인문·사회과학 등 4개 영역의 질문 답변 능력을 종합적으로 평가했다. 평가 방식은 연구자 102명이 각 질문에 대해 무작위로 두 모델의 답변을 듣고 어느 쪽이 더 나은지, 비슷했는지, 아니면 둘 다 부족한지를 투표하는 방식으로 진행됐다.

특히 각 답변에는 앨런 인공지능연구소가 개발한 논문 검색 도구 '시맨틱 스칼라(Semantic Scholar)'에서 실제 학술 자료나 논문 등이 인용근거로 첨부돼 답변의 신뢰성과 근거를 대폭 높였다는 점이 주목할 만하다.

오픈AI o3는 4개 부문 모두에서 1위를 석권하며 과학 분야 AI 답변 능력의 새로운 기준을 제시했다. 경쟁 모델들의 성과를 살펴보면, 중국 딥시크의 R1은 자연과학에서 2위, 공학에서 4위를 각각 차지했고, 구글의 제미나이(Gemini-2.5-Pro)는 자연과학 3위, 공학 5위, 보건의료 5위에 이름을 올렸다.

아르만 코한 앨런 인공지능연구소 연구원은 "인용문헌에 대한 상세한 설명과 기술적으로 정교한 답변 때문에 연구원들에게 좋은 평가를 받았다"고 o3의 우수성을 설명했다. 다만 대부분의 모델이 비공개이기 때문에 성능 차이의 구체적인 원인을 설명하기는 어렵다고 했으며, 각 AI모델에 어떤 데이터를 얼마나 어떻게 학습했는지, 또 어떤 목적에 맞춰 최적화됐는지가 성능에 영향을 미칠 수 있었을 것이라는 의견을 덧붙였다.

사이아레나는 누구나 무료로 접속해 연구 질문을 입력하고 AI를 통해 도출된 답변을 비교해볼 수 있는 개방형 플랫폼이다. 모든 사용자가 답변을 평가할 수 있지만 공식 기록에는 인증된 사용자의 투표만 반영되며, 플랫폼은 사용자 조작 등 문제를 방지하기 위해 신뢰성 높은 운영 방식을 택했다고 강조했다.

조너선 쿠머펠드 시드니대 AI 연구원은 "LLM에서 신뢰할 만한 과학적 답을 얻을 수 있다면, 연구자들이 최신 문헌을 따라가는데도 유용할 것"이라고 긍정적 전망을 제시했다. 하지만 과학자들은 LLM이 인용 논문과 모순되는 문장을 만들거나 용어를 오해하거나, 정확한 답을 하지 못할 수도 있다는 점을 잊어서는 안 된다고 경고하며, AI 답변에 대한 신중한 검토의 필요성을 강조했다.

https://www.nature.com/articles/d41586-025-02177-7

OpenAI’s o3 tops new AI league table for answering scientific questions

https://allenai.org/blog/sciarena

SciArena: A New Platform for Evaluating Foundation Models in Scientific Literature Tasks | Ai2

[익명(39.125)]

걍 o4 full이라도 빨리 내줘 좀

[STRATUMILATE(curry0010)]

그록4는 평가 안했나보네