24b0d121e09c28a8699fe8b115ef046f5e4c9e9faf




비교군에 제미니 2.0이 없어서 아쉽긴한데



비추론모델군 중에서 컨텍스트 길어질수록



제일 맥락 기억 잘하는게 4o임



8k토큰부터 모든 모델들이 빠르게 무너지고



32k에서는 기억력 50프로 밑으로 곤두박칠치는데



4o만 그럭저럭 잘 유지함




저 테스트는 모래시장에서 바늘찾기가 아니라 맥락 추론 테스트라 보면됨




예를들어서 "특붕이가 못먹는 음식이 뭐였지?" 하고 물어보면



모델들은 컨텍스트에서



1. 특붕이가 우유먹고 배아팠던 장면



2. 이후 화장실가서 설사한 장면



에서 정보를 찾아내고 추론해서 맞출 수 있는지를 봄



여기서 4o가 제일 성능좋았던거보면 코딩쪽이 병신이어도 맥락파악은 goat라고 볼수있음 



https://arxiv.org/pdf/2502.05167