86.4%가 gpt4고, 83.7%가 제미니 울트라임.


상당히 잘 정리된 글 긁어옴.

누가 MMLU 전혀 중요하지 않다고 하던데, 인공지능 성능 측정에 있어서 이 친구만큼 널리 쓰이는 놈 없다는걸 알아줬음 함.

이미 언급이 많이 됐으니까 알겠지만, gpt4의 성능 파악에 동원된건 5-shot, 제미니는 CoT@32 방식임. 짤은 두 모델의 성능을 5-shot 방식으로 동일하게 파악한 결과고.

5-shot과 CoT(Chain of thought) 방식은 절대 같지 않음.
5-shot이 문제를 해결하는 예시 다섯을 모델에 제시하는 방식이라면, CoT는 모델이 단계별로 사고를 이어나가며 문제를 해결하는 방식임.

예를 들자면 "철수의 아버지는 길동이다. 둘중 누가 더 먼저 태어났는가?"라는 질문을 받았을때


"이 질문은 둘중 어느 사람이 먼저 존재했는지를 묻고있습니다."

"아버지는 아들보다 먼저 존재합니다."

"길동이가 철수보다 먼저 태어났습니다."


이런식으로 말 그대로 생각의 사슬처럼 사고하도록 하는거임.
비슷한 과정을 32번 거쳐서, 가장 많이 나온 답을 고르는게 CoT@32 방식.


가장 일반적으로 사용되는 방식은 5-shot임. 이 방식으로 했을 때, 제미니는 gpt4는 물론이고 인간 전문가도 뛰어넘지 못함(인간 전문가는 89.8%로, gpt4역시 인간 전문가보단 약세).


제미니의 성능이 기존 구글의 모델에 비하면 크게 향상되었다는건 사실임. 비디오나 이미지 해석 능력, 토큰 소실 보전에서의 우월성 역시 마찬가지고.

근데 가장 일반적으로, 가장 흔하게 사용되는 방식인 5-shot에서 "언어모델" 로서 쳐발리니깐, 어떻게든 gpt4를 "이긴" 것처럼 보이기 위해서 그래프를 왜곡하며 사람들을 기만하는건 좋게 보이지가 않음. 제미니에 다른 장점이 없는것도 아니고, CoT@32 방식에서 딸리는 것도 아닌데.


모델마다 특정 분야에 강점이 있는거라면, 아직 제미니는 언어모델 쪽에선 gpt4와 맞먹을지언정 뛰어넘은건 아니겠네?