Grok 3 성능 벤치마크 분석 및 비교공식 벤치마크 수치와 cons@64 여부

Grok 3의 공식 발표 자료에는 수학, 과학, 코딩 분야에서 최고 수준의 성능 수치가 제시되었습니다. 특히 2025년 AIME(미국 수학 경시)에서 Grok 3 (Think 모드)이 **93.3%**의 정답률을 기록했는데, 이는 cons@64 설정으로 얻은 결과였습니다

. cons@64란 동일 질문에 대해 64번 반복 추론하여 가장 많이 나온 답을 선택하는 “합의” 기법으로, 단일 실행(pass@1) 대비 성능을 끌어올릴 수 있습니다

. 즉, Grok 3의 발표 수치는 모델을 한 번만 실행한 결과가 아니라 다수의 시도를 종합한 결과이며, 64회 반복 추론을 거친 최상의 성능을 반영합니다. 일부 평론가들은 이러한 multi-run(복수 실행) 기반의 결과를 다른 모델의 single-run(단일 실행) 결과와 직접 비교하는 것이 공정하지 않다고 지적했습니다

. 예를 들어, 한 사용자 의견에 따르면 **“하늘색 막대는 Grok 3을 여러 번 실행해 최고 답변을 고른 값인데, 이를 다른 모델의 1회 실행 결과와 비교했다”**며 이러한 비교 방식이 다소 “혼합 과일” 격이라고 평가했습니다

. 따라서 공식 벤치마크 수치 대부분은 64번 반복을 통한 합의 결과이며, 이를 감안해 해석해야 합니다.

그래프의 파란색 vs 하늘색 막대 의미

Grok 3 발표 자료의 벤치마크 그래프에는 파란색 막대와 하늘색(밝은 파랑) 막대 두 가지 색상이 사용되었습니다. 이 두 색은 각각 모델을 한 번 실행했을 때의 성능과 **여러 번 실행해 향상된 성능(consensus 모드)**을 나타냅니다. 일반적으로 진한 파란색 막대는 단일 실행 (pass@1) 결과를, 밝은 하늘색 막대는 cons@64 등 확장된 추론을 적용한 결과를 의미했습니다. 특히 Grok 3의 경우 **Think 모드(추론 모드)**를 통해 추가 연산을 한 결과가 하늘색 막대로 표시되었는데, 이 막대들은 동일 모델의 파란 막대보다 더 높은 값을 보였습니다. 예를 들어, AIME 2025에서 Grok 3의 단일 실행 성능(파란색)이 80%대였던 반면, 64회 합의로 상승한 성능은 하늘색 막대로 90%대를 기록했습니다

. 이런 색상 구분은 OpenAI의 O1 vs O1 Pro 모델 비교에도 적용되었습니다. O1은 일반 모드(단일 응답)로, O1 Pro는 OpenAI의 심화 추론 모드에 해당하며, 각각 파란색과 하늘색 막대로 구분되었습니다. 다만 DeepSeek R1의 경우 공식적으로 합의 모드를 제공하지 않기 때문에 주로 단일 실행 결과만 비교됐을 가능성이 높습니다. 요약하면, 그래프의 파란 막대 = 기본 모드(단일 답변), **하늘색 막대 = 강화된 추론 모드(다중 시도/합의)**로 이해하면 됩니다. 이러한 색상 구분을 통해 동일 모델의 모드별 성능 차이를 표현하고, Grok 3(및 O1 Pro)의 최적 조건 성능이 얼마나 향상되는지 강조한 것으로 보입니다.

Grok 3 vs O1, O1 Pro, DeepSeek R1 성능 비교

벤치마크 지표 상 Grok 3는 주요 경쟁 모델들을 대부분 앞서는 것으로 보고되었습니다. xAI의 시연 데이터에 따르면 Grok 3는 수학(AIME), 과학(GPQA), 코딩(LiveCodeBench)에서 OpenAI의 최신 모델들(O1 계열)과 DeepSeek R1보다 높은 점수를 얻었습니다

. 예컨대, 한 미디어 보도에 따르면 AIME 2024 시험에서 Grok 3는 OpenAI GPT-4o(O1에 해당)보다 높은 52점 vs 48점을 기록했고, GPQA 과학 벤치마크에서는 DeepSeek R1을 75 vs 68로 앞질렀다고 합니다

. 이는 Grok 3가 수학 및 과학 문제 해결에서 두 경쟁 모델보다 우수함을 보여줍니다. 또한 Grok 3는 **LMArena(Chatbot Arena)**의 블라인드 테스트에서도 종합 1위에 오르며 GPT-4 계열(O1)과 Claude, Gemini 등을 제쳤고, 사상 최초로 Elo 1400점을 돌파하기도 했습니다

. 이러한 결과로 미루어 볼 때 Grok 3는 전통적으로 GPT-4가 강세였던 영역에서 대등하거나 우위의 성능을 낸 것으로 평가됩니다.

  • OpenAI O1 (기본): O1은 OpenAI의 고성능 GPT-4 기반 모델로, ChatGPT Plus 사용자가 이용하는 버전입니다. DeepSeek 팀의 평가에 따르면 DeepSeek-R1은 여러 벤치마크에서 OpenAI O1과 필적하는 성능을 보였다고 하며, 실제 AIME 2024 기준으로 O1의 정답률은 약 79.2% (pass@1) 수준으로 알려져 있습니다

    . **Grok 3 (Think 모드)**는 이보다 훨씬 높은 90%대 (AIME 2025 기준 93.3%)를 기록하여 O1 대비 큰 우위를 보였습니다. **GPQA(대학원 수준 과학문제)**에서도 O1(Pro가 아닌 기본)의 성능은 70% 후반대로 추정되는데, Grok 3는 **84.6%**를 달성하여 앞섰습니다. 요약하면, Grok 3는 O1 대비 수학, 과학, 코딩 등 대부분 영역에서 더 높은 정확도를 시현하고 있습니다.

  • OpenAI O1 Pro (심화 모드): O1 Pro는 OpenAI의 $200/월 ChatGPT Pro 플랜으로 제공되는 고급 추론 모델입니다

    . 이 모델은 기본 O1 대비 훨씬 많은 계산량과 긴 추론 시간을 투입해 복잡한 문제에서 정확도를 높인 것으로, Grok 3의 “Think” 모드와 유사한 전략을 취합니다. 성능 면에서 Grok 3와 O1 Pro는 비슷한 수준으로 거론됩니다. Andrej Karpathy는 초판 Grok 3를 시험해본 뒤 **“체감상 O1 Pro ($200짜리 모델)급의 능력을 보여준다”**고 평했습니다. 특히 복잡한 논리 추론 영역에서는 Grok 3 + Think 모드가 OpenAI 최강 모델(O1 Pro)들과 어깨를 나란히 한다는 견해도 있었습니다. 공식 지표를 보면, O1 Pro는 GPQA에서 약 **77.3%**의 정확도를 보였는데, Grok 3(Think)의 84.6%는 이를 능가합니다. 한편, 코딩 테스트(HumanEval 등)에서는 O1 Pro가 90%대를 기록하기도 하는데, Grok 3도 LiveCodeBench에서 79.4% (또는 APE-X 등의 내부 평가에서 더 높은 수치)로 최첨단에 근접했습니다. 요약하면 Grok 3는 O1 Pro와 비교해 동등하거나 일부 영역에서 앞서는 성능을 냈으며, 특히 수학/논리 추론에서 강세를 보입니다.

  • DeepSeek R1: DeepSeek R1은 2025년 1월 공개된 오픈소스 초거대 모델로, OpenAI O1과 대등한 추론 능력을 목표로 개발되었습니다. 6710억 파라미터(MoE 구조)로 구성된 이 모델은 공개 당시 수학 AIME 2024에서 79.8% 정답률(pass@1)을 기록하여 OpenAI O1(2024년 12월 버전)의 79.2%를 근소하게 앞질렀습니다

    . 또한 MATH-500 등의 벤치마크에서 O1을 상회하는 **97%**대의 점수도 달성했죠. 이러한 결과로 DeepSeek R1은 O1 (기본형)과 거의 동급의 성능을 입증했습니다. 그러나 Grok 3는 이러한 R1보다도 높은 벤치마크 점수를 제시합니다. xAI에 따르면 Grok 3는 앞서 언급한대로 AIME나 과학 QA에서 R1을 크게 앞섰으며, DeepSeek V3/R1 대비 모든 주요 지표에서 우위에 있다고 발표되었습니다. 다만 세부적으로 살펴보면 DeepSeek R1도 특정 논리 문제에서 Grok 3보다 나은 면모를 보이기도 합니다. 예컨대 Karpathy가 낸 “유니코드 이모지 미스터리” 퍼즐에서 Grok 3가 실패한 반면, DeepSeek-R1은 이를 푸는 데 성공했다고 합니다. 또한 R1은 완전 오픈모델인 만큼 사용자 자유도나 창의적 활용 측면에서 강점이 있다는 평가도 있습니다. 정리하면, Grok 3는 전반적 성능에서 R1을 웃돌지만, R1 역시 수학·코딩 등 특정 분야에서는 Grok 3에 근접하거나 앞서기도 하는 경쟁자입니다.

Grok 3의 강점과 약점

강점: Grok 3의 가장 두드러진 강점은 고급 추론 능력과 논리적 사고입니다. 대규모 강화학습을 통해 개선된 “Think” 모드 덕분에, Grok 3는 문제를 여러 단계로 나누어 깊이 있게 사고하고 답을 교정하는 능력이 탁월합니다. 실제로 여러 단계를 거치는 복잡한 문제(예: 보드게임 전략, 퍼즐 등)에서 Grok 3는 경쟁 모델보다 높은 성공률을 보였습니다. Andrej Karpathy는 **“Grok 3의 Thinking 모드가 여타 모델들이 풀지 못한 복잡한 문제를 해결했다”**며, 한 예로 다른 모델들을 대부분 좌절시킨 Settlers of Catan 게임 코딩 문제를 Grok 3는 해결했다고 평했습니다

. 또한 명시적 논리 퍼즐(틱택토 등)에 대해서도 체계적인 **Chain-of-Thought(사고 사슬)**을 전개해 정답에 도달하는 모습을 보여, 구조적 논리력에서 높은 평가를 받았습니다

.

또 다른 강점으로 광범위한 사전학습 지식과 실시간 검색능력을 들 수 있습니다. Grok 3는 최신 정보에 접근하기 위해 **실시간 웹 통합(예: X/Twitter 실시간 지식)**과 자체 Deep Search 툴을 제공합니다

. 이를 통해 시사 분야나 최신 트렌드 질문에도 상당히 정확한 답변을 내놓았으며, Apple 신제품 루머나 주가 동향 같은 최신 정보 탐색에서도 높은 품질의 정보를 찾아냈다는 피드백이 있습니다

. 비슷한 기능을 제공하는 Perplexity의 Deep Research 수준에는 못 미친다는 의견도 있지만, OpenAI의 기본 웹브라우징보다는 풍부한 결과를 보여줬다는 평가입니다

. 즉, 정보 검색과 통합 측면에서 Grok 3는 사용자 질문 의도에 맞춰 다양한 출처를 깊이 있게 탐색하는 능력이 강점으로 부각됩니다.

약점: 그럼에도 불구하고 Grok 3에는 몇 가지 약점과 한계가 지적됩니다. 코딩 능력은 그 중 하나입니다. 초기 사용자 테스트에서 Grok 3가 복잡한 코딩 과제에서 실수를 범하거나 비효율적인 답을 내놓는 경우가 관찰되었습니다

. 한 개발자는 Grok 3에게 비교적 어려운 코딩 문제를 시킨 결과 **“GPT-4o나 Anthropic Claude 쪽이 더 나은 솔루션을 구현했다”**고 보고했습니다

. 즉, 코드 생성 및 디버깅 측면에서는 아직 OpenAI GPT-4 계열만큼 정교하지 못하다는 평이 있습니다. 이와 연관되어, 수학 및 기호 논리 문제에서도 완벽하지 않다는 지적이 있었습니다. 앞서 언급한 Karpathy의 이모지 논리 퍼즐 실패 사례가 그런 예인데, 이처럼 틀에 박히지 않은 창의 논리 문제에서 간혹 오답을 보이는 경향이 관찰되었습니다

. 이는 Grok 3의 강화학습이 매우 복잡한 문제엔 강하지만, 특정 트릭이나 패턴 인식 문제에서는 놓치는 부분이 아직 있다는 뜻으로 해석됩니다.

또 다른 약점으로 꼽히는 부분은 일반 상식 대화나 단순 질의에서의 세밀함입니다. 일부 사용자는 Grok 3가 사실 지식 응답에서는 훌륭하지만, 일상적인 창의 글쓰기나 감성적 문장 생성에서는 아직 GPT-4의 풍부함이나 Claude의 일관성을 완전히 따라오지는 못한다고 평가했습니다 (이는 공식 지표보다는 사용자 피드백에 기반한 평가입니다). 예컨대 문학적 창작이나 장문의 스토리 작성에서는 Grok 3도 좋은 편이지만 가끔 맥락 유지나 세부 표현에서 어색함이 나타났다는 보고가 있습니다. 다만 이러한 부분은 모델이 아직 **“훈련 중”**인 베타 버전임을 감안해야 하며, xAI 측도 지속적인 개선을 예고하고 있습니다.

요약하면 Grok 3의 강점은 뛰어난 논리/추론 능력과 전문 지식 분야의 정확도, 약점은 특수한 창의 문제나 코딩 등에서 드러나는 미묘한 취약점으로 정리할 수 있습니다. 전반적인 지능 지표에서는 동급 최고 수준이지만, 모든 분야에서 항상 최고인 것은 아닌 다소 고르지 않은 성능 프로파일을 보입니다.

벤치마크 vs 실제 사용자 경험 평가

객관적 벤치마크 데이터와 사용자 체감 성능 사이에는 일부 간극이 존재하는 것으로 보입니다. 벤치마크상 Grok 3는 현존 최고 수준의 점수들을 기록하며 경쟁 모델들을 앞섰습니다. 그러나 실제 사용자들이 다양한 시나리오에서 경험한 결과는 다소 혼재되어 있습니다

. 예컨대, Chatbot Arena 등의 블라인드 테스트에서는 Grok 3가 GPT-4, Claude 등을 제치고 1위를 차지했지만

, 실무적인 코딩 작업이나 일상적인 질의응답에서 사용자들은 아직 OpenAI GPT-4 (O1) 계열이 더 안정적이고 정확하다고 느끼는 경우도 보고되고 있습니다

. 이는 Grok 3가 특화된 강화학습으로 어려운 문제에서는 혁신적인 성능을 내지만, 일반적인 질문에서는 기존 모델들과 체감 차이가 크지 않을 수 있음을 시사합니다

. 실제로 한 AI 평론가는 **“ChatGPT Plus의 GPT-4와 Grok 3는 평범한 질문들에 대해서는 거의 비슷한 품질을 보이며, 어려운 질문에서만 Grok 3가 두각을 나타낸다”**고 언급했습니다

.

또한 모델 사용 방식에 따른 차이도 고려해야 합니다. Grok 3의 최고 성능은 Think 버튼을 눌러 충분한 시간을 들였을 때 발휘되지만, 일반 사용자가 모든 질의에 그렇게 하지는 않습니다. 64회 합의 추론은 실시간 상호작용에서 비현실적이므로, 일반 대화 모드에서의 Grok 3는 공식 지표만큼의 격차를 항상 보이진 않을 수 있습니다. 예를 들어, 빠른 응답 모드에서 Grok 3와 ChatGPT-4를 번갈아 사용해본 일부 유저는 **“Grok 3가 논리적으로 더 설명을 잘 해주지만, 사실관계 정확도나 코딩에선 GPT-4가 더 나았다”**고 체감 보고를 하였습니다 (비공식 커뮤니티 피드백). 이는 객관 지표상의 우열이 사용자 경험의 우열과 꼭 1:1로 대응하지는 않는다는 점을 보여줍니다. xAI 측도 이러한 부분을 의식하여 사용자 피드백을 바탕으로 모델을 지속 업데이트하고 있다고 밝혔습니다.

한편, Grok 3의 장점인 풍부한 지식과 느슨한 검열은 사용자 만족도를 높이는 요인으로 작용했습니다. 예를 들어, 위키피디아 정보 활용 빈도가 높고 검열이 적어 대담한 응답을 하는 Grok 3의 스타일을 흥미로워하는 이용자들도 있었습니다

. 이러한 특성은 기존 모델 대비 신뢰도 문제를 제기하기도 하지만, 동시에 사용자들에게 새로운 경험을 제공합니다. 결과적으로 **“Grok 3가 정말로 ‘세계 최고’인가”**에 대한 평가는 사용자 목적에 따라 달라집니다. 수학 문제 풀이나 복잡한 분석적 질문에서는 벤치마크처럼 탁월함을 체감할 수 있지만, 일상적인 대화나 코딩 보조에서는 기대만큼 혁신적이지 않다는 의견도 공존합니다

.

객관적인 데이터와 사용자 경험이 완전히 일치하지 않는 이유는, 벤치마크가 모델의 최대 잠재력을 측정하는 반면, 사용자 경험은 모델의 평균적 일상 성능을 반영하기 때문입니다. Grok 3는 분명히 기술적 잠재력이 큰 모델이며 여러 테스트에서 그 힘을 입증했습니다. 하지만 실제 서비스 초기 단계이기에 최적화나 일관성 면에서 다소 러프한 부분이 남아있고

, OpenAI나 Anthropic 모델들처럼 다년간 피드백으로 다듬어진 완성도에는 약간 못 미친다는 평가도 있습니다. 이는 앞으로 업데이트와 튜닝을 통해 개선될 가능성이 높습니다.

종합하면, Grok 3의 벤치마크 성능은 놀라울 정도로 높지만(특히 Think 모드 활용 시), 현재 시점에서 모든 사용자에게 체감되는 “최고”의 경험인지에는 의견이 갈릴 수 있습니다. 여러 사용자 피드백을 종합한 현실적인 평가는: “Grok 3는 특정 어려운 작업에서는 경쟁자를 앞서지만, 범용적인 품질과 편의성에서는 아직 GPT-4(O1) 등의 검증된 모델들과 비슷한 수준”

이라는 것입니다. 이는 오히려 고무적인 신호로, Grok 3가 이제 막 베타임에도 불구하고 최고 수준 모델들과 어깨를 견줄 정도이며, 향후 발전으로 사용자 경험도 벤치마크 지표에 가까워질 것으로 기대됩니다. 앞으로 사용자들의 광범위한 피드백을 바탕으로 Grok 3가 강점은 살리고 약점을 보완하여, 명실상부하게 벤치마크와 체감 모두에서 최고의 모델로 거듭날 수 있을지 주목됩니다.

참고 자료: 공식 발표 및 기사에서 인용한 수치와 평가