o3나 o4mh, 그리고 2.5pro는 거의 모든 '추론' 문제를 풀 수 있음.


문제를 못푸는 경우는 AI의 성능한계도 있겠지만, AI의 잠재력을 끌어올리지 못한 경우가 다수임.




유형1. 사진을 집어넣은 경우


AI는 사진을 해석하는데에도 리소스를 쓰기 때문에, 그림이 있는 문제는 그림을 해설해주면 됨.


회로문제를 못푼다고 징징거리는것도 위와 같은 케이스임.




유형2. 추론모델을 쓰지 않은 경우


이건 전적으로 사용자 문제임. AI 공부를 더하는게 좋음. 갤러리 눈팅하면서 추론모델에 대해 공부하면 좋음.




유형3. pdf를 집어넣은 경우


LLM은 진짜 LLM이기 때문에 순수 텍스트에 강력한 힘을 발휘함. pdf로 먹이지 말고 그냥 텍스트로 주셈.




유형4. 한 번에 여러문제를 집어넣은 경우


이게 제일 많은 유형인데, 유입이 늘어나면서 이런 유형이 많이 보임.


LLM은 인풋이 많을 수록 성능이 떨어짐.




유형5. 추론 문제가 아닌 문제를 넣은 경우


'한국사'나 '국어'문제를 넣은 경우인데, 미국 LLM이 한줌국가의 문화나 언어를 제대로 이해할리가 없음.


물론 국어의 비문학 지문은 틀리는걸 본적이 없음. 특갤에 못푼다고 올라온걸 보면 어김없이 유형1~유형4를 저지른 경우였음.




이 유형들에 해당하지 않음에도 LLM이 못푸는 추론 문제는 진짜 말도 안되는 난이도의 킬러문항들인데, 이런 문항들은 손에 꼽을정도로 적음.