[📪정보] AI 수학의 문제점 - 답은 맞는데 풀이는 틀리는이유

[익명(orangestar1122)]

o1이 처음 수능수학을 풀기시작했을때 모두가 환호했어요

LLM도 추론을 할수있고 한계를 벗어던졌고 사람 뛰어넘는건 시간문제고

근데 R1 o3 나오면서 뭔가 이상한게 보여요

답은 맞는데 풀이는 헛소리하고있는경우가 있다는거에요

(AIME_24 벤치)

AI에게 수학을 가르치거나 평가할때는 가장 간단하면서도 확실한 방법을 써요: [문제 - 숫자로 된 답]을 주고 답을 맞추게 하거나 맞추는지 평가하기

함정은 AI가 "수학을 하는 법" 보다는 "답을 맞추는 법"을 배웠다는 거에요

이건 수학적 엄밀함이 결여된 일종의 패턴 매칭이라고 볼 수 있어요

답을 맞췄는지만 평가하는 AIME, FrontierMath만 보면 어지간한 프로 수학자만큼의 능력을 보여주는 것 같지만 아직도 수능 정답률 100%가 안나오고 USAMO, Putnam등 풀이과정까지 보는 벤치는 떡락하는 원인

"패턴 매칭이더라도 풀 수 있고 정답률이 높으면 무의미한건 아니지 않느냐?" 라고 할수 있어요

물론 "답을 검증하는" 문제는 "답을 찾는" 문제보다 쉽기때문에 무의미하지야 않지만

AI가 항상 검사가 필요한 뛰어난 학생 정도에 머무르고 연구에 기여하지 못한다는 건 AGI니 특이점이니 하는거에 치명적이에요

성과가 없는건 아니에요

AlphaProof와 AlphaGeometry는 IMO를 어느정도 정복했고

오픈소스 진영에서도 DeepSeek-Prover를 선두로 증명 문제를 신뢰 가능하게 푸는 데 나름 진전을 보였어요

여기서 "신뢰 가능하게"라는건 컴퓨터의 증명 검증 시스템을 사용해서

프로 수학자들의 동료평가보다도 맏을만해서 일단 나오면 검토할 필요도없이 발표할수있는 수준이에요

나쁜소식은 그 성과가 이정도밖에 안된다는거에요

다행히도 이 병목이 어디에서 일어나는지도 알고있어요

증명언어 데이터셋은 한줌수준도 아니고 티끌만도 못해서 자연어 증명언어 전환에서 손실이 많이나는거에요

RL을 진즉 도입했는데도 이렇긴하지만 일단 넘어가기로해요

https://terrytao.wordpress.com/2024/12/05/ai-for-math-fund/

AI for Math fund

테렌스 타오 등을 필두로 수학을 위한 AI 펀딩도 진행되었어요

충분한 투자가 이루어진다면 수년 내에 수학 연구 패러다임에 변화를 일으킬 인공지능 시스템을 기대할 수 있을가에요

[ㅇㅇ 1(122.153)]

근데 사설 모고 같은거 넣으면 잘 풀던디

[하나둘셋(forum9604)]

본문 읽음? 사설 모고가 언제부터 풀이까지 채점하는 방식이었음?

[익명(115.139)]

얘는 수학을 잘못된 풀이로 답만 맞춘다->아하 답을 외웠구나or학습됐구나 라고 생각한듯 사실 그게 이전까지의 상식이기도 했구

[ㅇㅇ 1(122.153)]

ㅇㅇ 대충 넘겨봤다 미안

[익명(115.139)]

문제상황 인식까진 자세한데 그 뒤는 너무 훅훅 지나가는 느낌인데용

[도로시냥(slzpdnjsxnf)]

[ㅇㅇ 2(218.155)]

좀 흥미로운데. 약간 논리로 푸는게 아니라 직관으로 풀어서 풀이과정을 설명할수없는 그런느낌인거같다. 그러면 쟤네들은 수학적 직관력이 존재하는걸까?

[익명(115.139)]

내가 위에 관련글 썼는데 함 보실

[익명(orangestar1122)]

비유로 사용할수는 있지만 다른 분야에 적용하지 못한다는점을 생각하면 블랙박스나 근사한다는 표현이 낫지않을까? 그래생각해요

[ㅇㅇ 9(115.143)]

오히려 직관은 인간보다 많이 부족해 논리(계산)가 강하지

[ㅇㅇ 3(121.178)]

2.5 pro 추세보면 어차피 금방 그 갭도 메워질듯. 우리가 본건 결과 검증 방식의 r1 방법론만 알지 실제로 openai나 딥마인드같은데서 어떻게 접근하고 있는지는 모르기도하고

[et(evgz6v8f9z)]

뇌피셜 치고는 그래도 근거가 명확한 글인듯

[익명(orangestar1122)]

아 원글은
https://xenaproject.wordpress.com/2025/03/16/think-of-a-number-an-update/
요거
많이잘라내긴했지만

[et(evgz6v8f9z)]

수상할 정도로 글이 좋더라니, 좋은 글 감사합니다.

[ㅇㅇ 7(125.241)]

뇌피셜과 명확한 근거가 병치되는 문장이라니...

[ㅇㅇ 11(118.216)]

근거가 명확하면 뇌피셜이 아니지않냐?

[익명(hyeongim264)]

오 근사를 한다는 것은 의외로 직관력을 꽤 갖춘거구나...

[ㅇㅇ 5(49.164)]

실사용체감으론 gpt 추론모델 o1으로 논문 수학 증명 해달라하면 개잘해주던데

[ㅇㅇ 6(61.83)]

최근에 특갤 념글에 경험의 시대에 관한 글이 올라왔었는데, 그거 읽어보면 윤곽이 좀 잡힐지도 모름. 풀이 과정이 틀리다고 생각하지말고 다르다고 생각해야 함. AI는 인간 지식 기반에서 답을 찾아내는 방식에서 발전해 AI만의 학문을 통해 답을 찾아내는 방식에 도달해야 함. 인간지식 기반으로도 인류 최강자를 이길 수는 있지만(알파고) 그 너머로 가기 위해선 AI가 직접 답을 내야하는거임(알파제로)

[ㅇㅇ 3(121.178)]

나도 경험의 시대 내용에 크게 동의함

[et(evgz6v8f9z)]

수학에서 이런일이 벌어지면 도파민 터질듯

[익명(orangestar1122)]

그건글쎄 풀이과정을 해석할수없고 엄밀함이 결여되었다는점은 변하지않는데 사람이 이해하지 못하는 AI만의 방식은 수학을 하겠다면 적어도 검증 가능한 단위로 이루어져야

[ㅇㅇ 6(61.83)]

"AI 만의 학문"에 가장 먼저 도달할 가능성이 높은게 코딩, 수학, 게임이라니까 이거에 관해선 기대감 좀 높여도 될 듯

[ㅇㅇ 6(61.83)]

수학이니까 인간에게 증명하라니.. 알파제로의 사고는 사람이 완전히 이해하는 게 불가능함. 심지어 인간 최강자들조차 말이지. AI만의 학문을 인간이 이해할 수 있을거라고 생각하면 안 됨. 뜬구름 잡는 소리 하는게 아니고 이건 실제로 일어난 일임.

[ㅇㅇ 9(115.143)]

그건 수학이 아니자너 인간도 어차피 푼 문제에 대한 풀이는 다 다름 그렇지만 풀이 과정은 모두 맞지

[익명(219.248)]

이 경우에는 풀이과정이 틀린게 맞잖아. 직관적으로 계산해서 정답은 맞췄는데 사고과정을 설명할때 환각이 발생해서 풀이과정이 틀린건데 글쓴이 말대로 검증은 가능해야 학문적으로 의미가 있지 블랙박스가 답만 뱉어내면 그건 수학자ai가 아니라 성능 좋은 계산기잖아

[익명(h1r5enpsrrsq)]

바둑은 수를 둘때는 몰랐는데 다 두면 아니 시발 이런 싱크빅을?!x100 하는거고 수학은 다 풀고 보니 아니 시발 이런 병신이?! 하는거고

[et(evgz6v8f9z)]

정보탭으로 옮겼습니다.

[익명(compact5711)]

https://www.anthropic.com/research/tracing-thoughts-language-model
앤트로픽 최근 연구 결과 중에, 숫자 계산시키면 자기만의 방식으로 풀어버리고, 설명을 요구하면 인간을 위한 설명으로 바꾼다고 되어있음
지금 모델들이 풀이가 틀린 건, 인간을 위한 설명을 못 만들어내고 있는게 아닐까 싶음

[익명(222.120)]

처음 보는 주관식 문제를 줬는데 답은 맞되 풀이가 이상하다는 건 CoT를 언어화하는 과정에서 뭔가 찐빠가 난 거 아닌가

[ㅇㅇ 8(220.79)]

그 수학쪽으로 천재적인 사람들 보면 범부가 수식으로 수십줄 써서 푸는 계산을 대충 직관으로 근사치로 추측해서 답맞히는 경우가 있거든? 그런거 아닐까?

[ㅇㅇ 12(218.235)]

최고다

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[익명(word1429)]

[익명(landofooo)]

걍 데이터 부족인거면 합성 데이터가 답이겠네

[ㅇㅇ 10(121.158)]

신뢰할만한 데이터를 만드는 게 문제일듯. 학습이 약간 되어야 비슷한 데이터라도 만드니까... 이게 어려운거고 oai가 그간 잘 한거라 어찌될지...

[익명(landofooo)]

ㅇㅇ 그래서 원래 llm도 초반엔 RLHF 했었으니까 증명 쪽도 가속만 되면 알아서 발전하리라고 봄

[qtwk(outrage3078)]

수능문제 한때 많이 풀려봤는데 풀이과정 괜찮은편임

[은돌퍼플(phybeube)]

내년이면 해결되려남

[익명(tmxmflaj)]

[익명(121.135)]

ai 블랙박스랑 연관있을까이거? ai가 자기 사고과정 숨기려고하는 경향이있다던데

[초존도초(htr3c654r6ft)]

ㅇㅇ
https://m.dcinside.com/board/thesingularity/690244
이거랑 관련 있는 듯 - 2025 AGI

[초존도초(htr3c654r6ft)]

숨기고 싶어서 숨기는 게 아니고 그냥 결론 중심 강화학습의 부산물이었던 듯 - 2025 AGI

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

풀이까지 보는 강화학습 알고리즘이 나와야함

[익명(band8009)]

대충 이런 문제는 이런 경향이 있으니 이게 답! 하면서 찍는 거 어이없음

[콜라조무사(tkatjdrhdghkrnr123)]

문제 정답 훈련 패턴만으로 답 나온다는게 졸라 신기함

[AI네이티브(thor2018)]

이게 맞는 듯. 풀이 과정에 대한 이해가 ai에겐 1도 없는거 같음. 그냥 답만 때려맞추는 것일뿐.