▪GPQA Diamond▪ (OpenAI)

   GPT-5 pro (tool) =89.4%

   GPT-5 pro =88.4%

   GPT-5 thinking (high) =85.4%

   o3-pro =84.5%

   o3 =82.7%

   GPT-5 thinking mini =80.3%

   o1 pro mode =79%

   o4-mini-high =78.4%

   o3-mini-high =77.3%

   o1 =74.7%

   GPT-4.5 =71.4%

   GPT-4.1 =66.6%

   o1-mini =60.3%

   GPT-4o (2024) =54.3%

   GPT-3.5 =29.7%


▪GPQA Diamond▪ (Google)

   Gemini 2.5 Deep Think = 90%>(추정)

   Gemini 2.5 pro =84.4%

   Gemini 2.5 Flash (Reasoning) =79%

   Gemini 2.0 Flash Thinking =70.1%

   Gemini 2.0 pro Experimental =62.2%

   Gemini 1.5 pro =58.9%

   Gemini 1.5 Flash =46.3%

   Gemini 1.0 pro =27.7%


▪GPQA Diamond▪ (xAI)

   Grok 4 Heavy (tool) =88.4%

   Grok 4 =87.7%

   Grok 3 (Reasoning) =79.1%

   Grok 3 =69.3%

   Grok 2 =51%

   Grok beta =47.1%


▪GPQA Diamond▪ (Anthropic)

   Opus 4.1 Thinking =80.9%

   Opus 4 Thinking =79.6%

   Sonnet 4 Thinking =77.7%

   Sonnet 3.7 Thinking =77.2%

   Sonnet 3.5 =59.9%

   Opus 3 =48.9%

   Haiku 3.5 =40.8%

   Sonnet 3 =40%

   Claude 2.0 =34.4%


아래 사이트에서 점수확인 가능해

https://artificialanalysis.ai/evaluations/gpqa-diamond


사이트에 안나와 있는 모델들 공식발표 점수 넣었어


그리고 Gemini 2.5 Deep Think 모델만 GPQA 점수가 공개가 안되어 있고 HLE 점수만 공개되어 있어서 이를 기반으로 값을 추정해봤어


GPQA 점수

o3= 82.7

GPT-5 thinking =85.4

GPT-5 pro (no tool) = 88.4

Gemini Deep Think=?


HLE점수

o3=21

GPT-5 thinking = 24.8

GPT-5 pro (no tool) = 30.7

Gemini 2.5 Deep Think =34.8


대략 GPQA 3점 차이마다 HLE 5점 차이 나는 것 같더라구 그래서 Gemini 2.5 Deep Think는 GPQA가 최소 90% 이상 같아