요약: 간단한 방식(5-shot)의 경우 제미니 점수가 83.96 으로 GPT-4의 84.21에 비해 큰 차이가 없음.
CoT라는 복잡한 과정으로 같은 문제 풀이를 32번 반복하고 이에 추가적인 테크닉을 사용해야 90%가 나오고 GPT-4에 대한 우위가 존재.

현재 구글에서 홍보하고 있는 MMLU 90 % 점수에서 주석을 보면 CoT@32 이 적혀 있음을 확인 할 수 있습니다.
비교되는 GPT-4의 MMLU는 86.4 %인데 이는 5-shot이라는 방식 사용합니다.
5-shot: 비슷한 문제를 해결하는 예시를 5개를 모델에 제시하고 문제를 풉니다.
CoT (Chain-of-thought): 단계 별 생각을 하면서 문제를 푸는 테크닉 입니다.

예시:

(질문): “해스팅스 전투가 발생한 해는 언제인가요?”

(모델):

1. 이 질문은 특정 역사적 사건인 해스팅스 전투가 일어난 연도를 묻고 있습니다.
2. 해스팅스 전투는 영국 역사에서 잘 알려진 사건입니다.
3. 이는 잉글랜드에 대한 노르만의 정복에서 중요한 사건이었습니다.
4. 이 전투는 11세기에 발생했으므로 가능한 연도는 1000년부터 1099년 사이입니다.
5. 이 사건의 정확한 연도는 유럽 역사에서 자주 언급되는 사실입니다.
6. 해스팅스 전투는 1066년에 일어났습니다.

해스팅스 전투는 1066년에 발생했습니다.

CoT@32는 이 과정을 32번 반복하고 과반수의 결과를 최종 정답으로 채택하는 과정입니다.
똑같이 5-shot으로 평가시 Gemini Ultra는 83.96%으로 GPT-4의 84.21% 보다 적은 부분이 있습니다.
똑같이 CoT@32를 적용해도 87.29% 대비 84.99%로 우위가 관측되지 않고 CoT@32에 Uncertainty Routed 테크닉(32번 과정을 반복하여 결과를 도출하고 정답에 대한 확실함이 일정 임계치를 초가할 경우 과반수 이상의 정답 선택, 임계치 이하시 Greedy selection으로 가장 확률이 높은 것을 선택 )을 추가해야지만 90%에 도달하여 우위가 관측됩니다.

이는 제미니 모델을 사용할 때 단계별 생각할 수 있도록 해야지 제대로된 성능이 나온다고 생각할 수 있습니다.

그래서 CoT 과정을 처음부터 끝까지 몇회 반복해서 돌려볼 수 있는 여건이 되지 않는 일반 사용자에게는 GPT-4 실질 성능이 높을 수도 있다고 생각됩니다.


참고자료: Gemini Technical Report
Figure 7, Page 44
https://storage.googleapis.com/deepmind-media/gemini/gemini_1_report.pdf