[🏆베스트] 알파지오메트리2 논문 분석

[익명(121.178)]

*AG = AlphaGeometry

-IMO 기하학에서 금메달 수상자 평균 점수를 넘은 최초의 모델, AG2

<AG2의 작동 원리>

1. 자연어 문제 → AG 전용 언어로 자동 변환

-일반 LLM(Gemini 등)을 활용해 자연어 기하 문제를 AlphaGeometry(AG) 도메인 언어로 번역.

-예시 :

"ABC 삼각형에서 ∠B와 ∠C가 동등함을 증명하라." 라는 자연어 문제

-> Gemini같은 일반 LLM을 프롬프트 엔지니어링 / few-shot 학습으로 활용하여

-> AG 전용 도메인 언어 형태로 변환

-> "triangle A B C; cong A B A C ? eqangle B A B C C B C A"

2. 도형(다이어그램) 자동 생성

-점·선·원의 정의를 기반으로 좌표를 찾아 자동으로 도형을 구성.

3. 언어모델(AG2) + 기호 엔진(DDAR)의 상호작용

(a) DDAR로 현재 주어진 조건에서 증명 가능한 사실(폐포)을 전부 구함.

(b) 결론을 가정했을 때나 도형의 수치적 힌트 등도 함께 고려.

(c) AG2(언어모델)가 필요한 ‘보조점/보조선’을 제안.

(d) DDAR가 이 보조점을 반영해 다시 증명 가능한지 확인.

(e) 목표가 증명되면 종료, 안 되면 (c)~(d) 반복.

4. 결과 증명 제시

-위 과정을 통해 찾은 보조선 및 논리 단계를 정리해 최종 증명으로 제시.

<AG2가 AG1보다 더 좋은 성적을 보인 이유>

1. 확장된 도메인 언어

-AG1은 기하 문제의 66%만 다룰 수 있었지만, AG2는 88%까지 커버할 수 있도록 언어 범위가 확대됨

-선형 방정식, 물체의 이동, "각도 찾기" 같은 새로운 유형의 문제들을 해결할 수 있게 됨

<Find x의 역할을 하는 새로운 도메인 언어를 도입>

2. 더 강력하고 빠른 심볼릭 엔진

-C++로 구현하여 AG1보다 300배 빠른 처리 속도 달성

3. 향상된 언어 모델

-Gemini 아키텍처 기반의 더 발전된 언어 모델 사용 (MoE 구조)

-더 크고 다양한 데이터셋으로 학습

-AG2의 언어 모델은 전체 증명 생성에서도 가능성을 보임

4. 새로운 검색 알고리즘 (SKEST)

-여러 검색 트리가 병렬로 실행되며 서로 정보를 공유하는 방식 도입

-여러 명의 수학자가 함께 문제를 푸는 시스템으로 생각할 수 있음

<SKEST 알고리즘을 통한 성능 개선>

5. 더 나은 합성 데이터를 통한 훈련

-AG2는 여러 측면에서 다양하고 풍부한 합성 데이터를 사용하여 훈련됨

-> 위 개선사항들을 통해 AG1의 IMO 기하학 문제 해결률 54%를 AG2에서 84%로 올리는데 성공

<AG2에서 주목할만한 발견>

1. 커스텀 토크나이저와 일반적인 LLM 토크나이저간 성능 차이 없음

-기하학 풀이에 맞춘 커스텀 토크나이저와 일반적인 Gemini 모델에 사용된 토크나이저(30만개 어휘 토큰으로 구성) 각각으로 AG2를 학습한 결과, 유의미한 성능 차이를 발견하지 못함

-이는 최신 LLM 토크나이저가 수학적 조작을 수행할 만큼 충분히 유연할 수 있음을 시사함

<AG에 사용된 커스텀 토크나이저. 일반적인 언어 모델과 달리 하나의 의미가 모두 담겨있는 토큰으로 구성됨>

2. 도메인 특화 언어와 자연어 간 성능 차이 없음

-AG2의 전문적인 도메인 특화 언어로 학습한 모델과 일반 자연어로 학습한 모델 간 성능 차이가 없었음

-이는 수학 문제 해결에 있어 엄격한 형식 언어가 필수적이지 않을 수 있음을 시사함

<위 : AG 도메인 특화 언어, 아래 : 일반적인 자연어로 구성한 문제. 서로 같은 문제를 다르게 표현한 것>

3. 사전학습된 모델과 처음부터 학습한 모델의 상호보완성

-수학 데이터로 사전학습된 모델과 AG2 데이터로 처음부터 학습한 모델이 서로 다른 강점을 보임

-두 모델을 앙상블로 결합했을 때 더 나은 성능을 달성

<일반적인 수학 데이터셋에 대해 사전학습된 모델을 AG 데이터로 미세조정한 모델과

AG 데이터로 처음부터 학습된 모델 간의 loss 그래프>

-loss 측면에서는 거의 비슷한 성적을 거두지만 문제 해결에 있어서 서로 약간 다른 접근 방식을 취하여 두 모델을 결합(앙상블)했을 때 더 나은 성과를 얻음

4. 시각적 정보의 제한적 유용성 (멀티 모달 도입)

-도표와 이미지를 추가로 입력했을 때 단독으로는 성능 향상이 없었음

-다만 다른 모델들과 지식을 공유할 때 보완적 역할을 함

-이는 기하학 문제 해결이 시각적 추론보다 대수적 추론에 더 의존함을 시사

5. 언어 모델의 자체 해결 가능성

-심볼릭 엔진 없이도 언어 모델 자체가 상당한 수준의 증명 단계를 생성할 수 있음을 발견

-다만 현재는 추론 속도와 신뢰성 문제로 심볼릭 엔진이 여전히 필요한 상태

-> 현재는 심볼릭 엔진이 필수적이지만, 향후 언어 모델의 발전 및 강화학습 적용으로 언어 모델 단독으로 기하학 해결의 가능성은 열려있음

<결론>

-상기한 여러 발전 사항들을 통해 2000-2024 IMO 기하 문제에서 84%의 해결률을 달성

-AG2에서 언어 모델은 보조선 생성뿐 아니라 전체 증명 생성에서도 잠재력을 보여줌

-토크나이저나 도메인 특화 언어가 모델 훈련에 결정적인 역할을 하지 않음을 발견

<앞으로의 발전 방향>

-도메인 언어 추가 확장 : 변수, 비선형 방정식, 부등식 등을 다룰 수 있도록 하여 "기하학 완전 해결"을 목표로

-문제 해결 능력 향상 : 모든 IMO 문제를 해결하기 위해 문제를 하위 문제로 나누고 강화 학습 접근 방식을 적용해보기

-완전 자동화된 시스템 개선 : 자연어 입력을 받아 환각 없이 신뢰성 있는 해를 출력하는 완전 자동화된 기하학 문제 해결 시스템을 더욱 개선

-심볼릭 엔진 없이 언어 모델만으로 문제 해결 : 추론 속도 향상과 환각 문제를 해결해야함

[익명(wanted7407)]

오 게리마커스 나가 뒤져 가능성 업!

[less(boxing8245)]

[less(boxing8245)]

llm이 더 좋아지면 심볼릭엔진이 필요없어진다는 것도 꽤나 희망적이네

[약팔이아님(vital7966)]

와 지리네 이건 좀 재밌다

[익명(hyeongim264)]

[익명(forgot6853)]

[바다기린(hancomputer)]

[디시콘발사대(fcbjsjmu1t9f)]

[익명(58.224)]

그대로 미분기하까지 정복해다오

[ㅇㅇ 1(112.149)]

구글도 잘하네

[천사다천사(jjtheman999)]