수학은 확률이 아니야. 정확한 사고, 정확한 논리 전개에 따라 딱 떨어지는 문제임. 반면 LLM은 기본적으로 비트겐슈타인의 “언어의 사용 이론”에서부터 기반함.

의미라는건 토대가 되는 본질이 있는게 아니라 사용되는 맥락에 따라 정해진다는거고 여기에 Dependence 구조와 확률을 도입한게 현 LLM임.

난 그래서 처음부터 이게 수학을 풀수 있을까 의심해왔어. 정말 많은 대학원 시절 과제들을 시켜봤지만 딱 예상했던대로더라.

어딘가 논문이나 교과서에서 봤을법한 문제들은 그 맥락을 이해하고 수식들을 짜집기하여 긁어올순 있음. 근데 인간이 수학 문제를 풀듯 스텝바이스텝으로 논리 연산을 하여 결과값을 도출해내진 못함. 그래서 처음 볼법한 변태 같은 문제들 주면 한번을 푸는 꼴을 못봤음

단순히 관련 맥락을 확률적으로 가져오는거지 직관-논리 결합을 요구하는 문제는 하나도 못풀어냄. 반면 코딩은 잘 해내는 이유는 코딩은 수학 문제 풀이보단 언어 번역에 가깝기 때문.

얀르쿤 말이 일리가 있는듯 스케일 키운다고 될문제가 아니야.