[📪정보] [논문]Gemini Pro는 GPT-3.5-turbo보다 열등함

[익명(123.100)]

최근 출시된 Google Gemini 클래스 모델은 다양한 작업에서 OpenAI GPT 시리즈와 경쟁할 수 있는 결과를 종합적으로 보고한 최초의 모델입니다. 이 논문에서 우리는 Gemini의 언어 능력을 심층적으로 탐구하여 두 가지 기여를 했습니다.

첫째, 재현 가능한 코드와 완전히 투명한 결과를 통해 OpenAI GPT와 Google Gemini 모델의 기능을 제3자에게 객관적으로 비교한 결과를 제공합니다.

둘째, 결과를 자세히 살펴보고 두 모델 클래스 중 하나가 뛰어난 영역을 식별합니다.

우리는 추론, 지식 기반 질문에 답하기, 수학 문제 해결, 언어 간 번역, 코드 생성, 지시 따르기 에이전트 역할 등 다양한 언어 능력을 테스트하는 10개 데이터 세트에 대한 분석을 수행합니다. 이 분석을 통해 Gemini Pro는 우리가 벤치마킹한 모든 작업에서 해당 GPT 3.5 Turbo에 가깝지만 약간 열등한 정확도를 달성하는 것으로 나타났습니다.

우리는 많은 자릿수의 수학적 추론 실패, 객관식 답변 순서에 대한 민감도, 공격적인 콘텐츠 필터링 등을 포함하여 이러한 저조한 성능에 대한 설명을 추가로 제공합니다.

우리는 또한 영어가 아닌 언어로 생성하고 더 길고 복잡한 추론 체인을 처리하는 등 Gemini가 비교적 높은 성능을 보이는 영역을 식별합니다.

[익명(landofooo)]

ㅊㅊ 근데 ㅅㅂ 울트라좀 빨리 "내줘"

[익명(bluewarp)]