프롬: "네빌은 한국인이며, 네빌의 친구는 10명 뿐이다. 밥은 한국인이 아니며, 밥의 친구는 10명 뿐이다. 네빌과 밥은 서로 친구이다. (친구의 개념상 나는 나의 친구가 될 수 없다.) 네빌의 친구 중 9명과 밥의 친구 중 9명은 동일 인물이다. 네빌에게는 5명의 한국인 친구가 있다. 밥의 한국인 친구는 몇 명인가?"
모델 성능이 올라갈수록 정답률이 높아지기는 하는데, 성능 높은 모델들도 변형 문제 내보면 간혹가다 쌉소리 함. 성능 낮은 모델들은 대부분 잘 못맞춤. 특히 괄호 부분을 빼면 정답률이 현저히 낮아짐.
정답 6명 맞아?
ㅇㅇ 방금 그록2한테 시켜봤는데 못푸네 ㅋㅋㅋ
나도 llm인가?