[📪정보] 애플: 현 AI모델들은 진짜 "추론"을 못한다?

[불쌍한지미(lseu220)]

같은 하노이탑 문제를 천년만년 학습해도, 같은 논리퀴즈인 강 건너기 문제를 못푼다고..

현재 ai모델들은 "추론"하는게 아니라 "패턴"을 찾아내는 거라네

다들 일반화된 추론 능력이 없다고 함.. AGI 만들기까진 아직 먼듯

https://machinelearning.apple.com/research/illusion-of-thinking

The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity

https://x.com/RubenHssd/status/1931389580105925115

BREAKING: Apple just proved AI "reasoning" models like Claude, DeepSeek-R1, and o3-mini don't actually reason at all.

They just memorize patterns really well.

Here's what Apple discovered:

(hint: we're not as close to AGI as the hype suggests) pic.twitter.com/9A4Lg5aQWO

— Ruben Hassid (@rubenhassid) June 7, 2025

[et(evgz6v8f9z)]

사람도 그럼 앵무새였단 말인가 - dc App

[익명(222.104)]

? 그럼 동일한 패턴이 나오면 같은문제도 인간보다 더 쉽게 풀 수 있어야하는거 아님?

[ㅇㅇ 1(210.97)]

애플 llm이 없는 이유 1

[익명(fine0748)]

자 그럼 이제 진짜 추론 하는걸 만들어 와

[ㅇㅇ 2(124.50)]

애플은 그냥 추세와 반대로 가기로 작정했구나

[익명(patient3723)]

애플의 신포도론 갖지 못하면 부숴버리겠다

[익명(novel1295)]

중간 복잡성엔 강점을 보이는 그 llm도 못만들며

[익명(novel1295)]

바둑이 엄청난 경우의 수를 가진 복잡한 게임인데 LLM 나오기 전에 알파고가 이미 정복했잖아

[익명(winner1918)]

추하다 애플 ㅋㅋㅋ

[익명(grade2494)]

[익명(175.202)]

자극적인 단어를 많이 쓰긴 했는데 따지자면 근본적으로 잘못된 실험임

[Weisser_Adler(adler1)]

[익명(condemn4465)]

일단 걷기라도 하고 지랄을해야 ㅋㅋ - dc App

[ㅇㅇ 3(121.160)]

지능 증폭기 수준에서 끝날거 같긴하네 앞으로 양극화가 더 심해지겠다 UBI는 피할 수 없는 흐름이고 과거 사례로 볼때 계급사회가 등장하겠다

[익명(tragedy7204)]

애플아 알파고는 어떻게 설명할거니

[우개(1425vv)]

너무 추한데 자기는 못 할꺼 같으니까 남을 끌어내리는 수준;;

[ㅇㅇ 4(220.85)]

저자들이 전달하려는 핵심 직관은, 모델이 ‘전지하지만 모자란’ 존재라는 믿음에 있다고 생각 이런 의문을 수치적으로 제대로 다룬 논문을 본 적이 없어서, 이번 연구도 의견을 완전히 하나로 모으긴 어려워 보임

[ㅇㅇ 2(124.50)]

선쌤들 기어코 이 개똥글을 념글보냈네 ㅋㅋ 유동추 비율 봐라

[ㅇㅇ 5(14.45)]

선쌤들 고닉추 5개로 주작하는건 좀 추하노 ㄹㅇㅋㅋ

[익명(222.112)]

짦게 읽어봤는데 하노이 탑의 경우 알고리즘 해법을 prompt로 넣어줘도 실패한다고 함. 즉 그냥 생각할 필요 없이 하라는 대로 하기만 하면 되는데 그것조차 못한다는 뜻임. 예시로 나온 문제들 전부 문제 자체의 구조와 해법은 변하지 않고 문제를 구성하는 변수(강을 건너는 사람의 수, 디스크 수 등)만 변함. 즉 모델이 정말로 "문제를 해결하는 방법" 을 알고 있다면 문제 길이와 관계없이 정답률이 비슷해야 함. 그런데 그렇지 않고 변수가 적은 경우에 대해서만 정답률이 높다는 것은 그냥 답을 외웠다(대부분 인터넷에서 알고리즘 소개할 때 적은 변수를 가정하고 하기 때문)고 해석할 수 있다는거임.

[약팔이아님(vital7966)]

ㄴㄴ 저렇게 하나의 케이스로 일반화하는건 9.9 - 9.11 찾았다고 LLM이 수학 계산을 못한다고 얘기하는거랑 똑같음

[불쌍한지미(lseu220)]

ㅇㅎ.. 나도 gpt에 대충 요약 돌려보고 글썼는데 그런 의미가 있었구나

[익명(222.112)]

추가로 AIME 라는 수학시험에서는 2025년이 2024년 시험보다 대체로 쉬워서 사람 응시자들은 2024보다 대체로 좋은 성적을 거뒀음. 그런데 LLM 들은 반대로 더 쉬운 시험인 AIME 2025 의 성정이 AIME 2024보다 떨어짐. 저자들은 이걸 보면서 사실 니네 치팅하는거 아니야? 이렇게 의심을 약간 하고 있는듯(대놓고 주장하지는 않네)

[익명(222.112)]

@약팔이아님 ㅇㅇ 어차피 곧 어떻게 되는건지 아닌지 알게 될거임. 최근 각 기업에서 Agent를 내놓으려고 하는데, Agent에 필요한 요소-계획하고, 현재 Context를 파악하고, 계획한대로 실행하는 이 세 가지 요소가 이 논문에 다 들어 있거든. 만약 진짜로 LLM 이 외운대로 대답만 하고 조금의 응용력도 없는 거라면, LLM을 응용한 Agent는 거대한 벽에 부딪히게 될 거임.

[익명(222.112)]

또 추론 모델의 행동이 이상한 것을 발견했다고 함. 문제가 쉬울 경우에는 이미 답을 찾아놓고도 다른 정답 후보를 찾느라 계산력을 낭비하고 정확도가 떨어짐. 중간 수준의 문제에서는 잘 작동하는데, 이상하게도 문제 복잡도가 높아지면 계산량을 더 할당해야 하는데도 불구하고 오히려 계산량을 줄여버림.

[익명(222.112)]

요약하면 저자들은 이렇게 말하고 있는 것 같음. 내가 읽고서 내 나름대로 한 해석이니까 걸러듣기 바람. 1. 얘네는 문제의 알고리즘이 뭔지는 말할 수 있는데, 그게 정확히 무슨 뜻인지는 모른다. 그래서 자기가 말한 해법대로 실행하는 것 조차 못하고, 공식에 대입하는 것도 못한다. 문제의 변수가 많아져도 문제의 근본적인 난이도가 변하지 않는다는 것도 모른다. 2. 문제 난이도에 따라서 적절하게 계산량을 할당하는 것에 실패한다.

[약팔이아님(vital7966)]

@ㅇㅇ(222.112) ㅇㅎ 그럴듯함 근데 계속해서 '필요한 만큼만 추론' 하게하는 아키텍쳐나 추론 방법이 나오고 있어서 (올해에는 실용적으로 구현하고 실험 성공한 논문도 나옴) 불필요하게 추론하느라 정확도를 깎아먹는 이슈는 꽤 해결될듯함. 그리고 너 말마따나 LLM agent가 실제로 각 세가지 요소를 잘 하는지 벤치마크도 많고 o3나 클로드처럼 꽤 잘 굴러가는 경우도 많아서, proprietary 수준에선 좀 철지난 얘기같음

[약팔이아님(vital7966)]

@ㅇㅇ(222.112)
궁금하면 이거보셈
https://arxiv.org/abs/2503.07572

[냥쓰(kalstein)]

근데 사람도 어차피 패턴화에 맹목적인데 말이죠. 착시같은것도 그런 경향성때문에 생기는것도 많죠. - dc App