최근의 AI는 알파고 나오면서 딥러닝에 대한 관심이 본격화됐고 잠시 소강상태였다가 많은 학습 데이터셋을 이용한 LLM(거대언어모델)을 통한 Chat GPT 가 출시되면서 지금 엄청난 열풍이 불고있지


이 LLM의 문제 중 하나는 원리상 '논리'에 약함

애초에 가능성이 높은 것을 제시해주는 것의 반복구조이기 때문에 A->(A가 있으면 B로갈 가능성이 높아서)B -> ... 이런식으로 내용을 뱉어내는데

수학문제는 이렇게 풀다간 어느순간 산으로 갈 가능성이 높지, 쉬운문제가 아니고서야

실제로 GPT3.5는 3점수준의 간단한것도 풀이과정이 처음에 잘 가다가 갑자기 헛소리 뱉는경우가 많고

GPT4도 좀 개선되었다곤 하지만 여전히 별로임


https://blog.mathpresso.com/gpt-4%EB%A1%9C-%EC%88%98%EB%8A%A5-%EC%88%98%ED%95%99-%EB%AC%B8%EC%A0%9C-%ED%92%80%EA%B8%B0-d99bdd16aab0

<span style="font-size:10pt;">콴다의 AI Tutor Qutor와 GPT-4로 2023년 수능 수학 문제 풀기</span><span style="font-size:10pt;">지금까지 세상에 없던 문제들은 어떻게 풀 수 있을까?</span>blog.mathpresso.com


콴다개발자가 올린글을 보면 GPT4만 굴리면 작년 수능문제에서 대충 반타작정도, 즉 어려운 문제는 못품

가능성이 높은 것을 제시해주다보니 중간에 헛소리로 빠지는것을 자체 문제+풀이 데이터셋을 통해서 보완해주는 프로세싱을 추가해서 성능상승을 얻었음



근데 제한적인 영역(유클리드 평면기하)에서 이러한 LLM의 근본적인 문제를 거의 완벽에 가깝게 보완한 사례를 구글 Deepmind에서 제시함

2024/1에 Nature(네이처)에 발표된 original article에서 소개된 AlphaGeometry (알파지오메트리)

알파고와 같은 알파- 시리즈지


a15714ab041eb360be3335625683746f0053452cd6a6e989d63060f89816cd6e35f1fc2b89780ea649cc23fd89e6


테스트 데이터셋은 IMO-AG-30이라는 최근 20년정도동안 IMO에 출제된 유클리드 평면기하문제 30개를 모아서 진행



a15714ab041eb360be3335625683746f0053452cd6a6e989d63061f39910cd6e40d01710c979e0cf129a7f198d


이중 제한시간내 25개를 맞추었고 심지어 기존의 LLM과 달리 학습데이터셋 훈련 없이 순수 모델만 가지고도(w/o pre-training) 21개를 풀어낼 정도로 성능이 좋았음

다른 모델들의 성적도 적어놨는데 특히 GPT4는 0문제 맞췄다고 고로시돼있음

어떻게 이런 성과를 뽑아냈는가?



a15714ab041eb360be3335625683746f0053452cd6a6e989d63061f49e1ccd6e0823e19524f92330eaefc903d968


우리가 보통 도형문제 풀 때 보조선이 중요하지

그 보조선(파란색)은 LLM이 그어주는거야 (이런 상황에서 보통 보조선을 긋는 경우가 많다 -> BC의 중점 D를 잡아서 AD를 그음)

그리고 그 상황에서 문제를 푸는 것은 원래 논리로 문제를 해결하는 기호AI(symbolic AI)가 해결 (ABD, ACD가 합동임을 설명하여 AB=AC이면 각B=각C임을 증명)


만약 이것만으로 해결이 안되면 -> 다시 LLM한테 보조선 등 그어달라고 하고 기호AI가 다시 해결 반복..


기하문제는 문제에 주어진 상황 그 자체만으로는 별 똥꼬쇼를 해도 못풀지만 적절한 보조선 등을 통해 그 뒤에는 순수 논리로 해결할 수 있는 상황을 만들어낼수 있지

즉 순수 논리만으로는 못풀고 직관+논리의 적절한 조화가 필요하고 LLM이든(이건 앞에서 설명했지) 전통적인 기호AI든 원래같으면 못 풀음

수학문제가 대체로 그렇긴 하지만 얘네가 연습대상을 평면기하로 한정한 이유는 기하문제는 직관의 영역과 논리의 영역이 구분이 상대적으로 명확하다보니 그런 것으로 보임

즉, LLM은 인간의 직관을 모방(많은 경험으로 다져진), 기호AI는 논리해결의 영역을 맡아서 서로의 약점을 보완하여 문제를 해결한 셈



a15714ab041eb360be3335625683746f0053452cd6a6e989d63066f49812cd6edf02c98a0767fe99f63e3a9fb3ff


심지어 LLM을 통해서 학습데이터를 스스로 만드는 것도 가능

보조선 등을 그어가면서 새로운 상황이 만들어지고, 거기서 새로운 lemma가 만들어지고, ... 의 반복



a15714ab041eb360be3335625683746f0053452cd6a6e989d63066f69f13cd6ef1655b9627521e5d9b9522b22c7d


이런과정으로 심지어 풀이의 증명길이(proof length)가 최대 247줄인 수준의 말도안되는 복잡한 문제 상황까지 스스로 만들어 해결한 사례까지 확인

참고로 평균적인 IMO 문제들의 알파지오메트리의 증명길이는 대충 50몇줄 정도(이마저도 만들어진 학습데이터셋의 길이들 중 상위 0.05% 정도에 해당)

즉, 매우 복잡한 상황의 해결능력도 보여줄수 있음을 확인한 것



LLM이 지식을 베이스로 문제 상황을 해석하는 형태의 시험(ex. 의사면허시험, 변호사자격시험)류는 typical한 상황은 거의 정답을 낼수 있다 보니 이미 합격점을 넘어갔지만 수학에서는 상당히 낮은수준에서도 낙제점이었는데

이런 방식으로 보완을 할수있다는 것을 보여준 사례