[📪정보] ARC-AGI 벤치마크: AGI 개발에 필요한 새로운 벤치마크

[익명(mind9501)]

https://www.sequoiacap.com/article/new-ideas-for-agi

The New Ideas Needed for AGI

https://discuss.pytorch.kr/t/arc-agi-agi-feat/4756

ARC-AGI 벤치마크: AGI 개발에 필요한 새로운 벤치마크 (feat. 규모가 아니라 새로운 아이디어가 필요합니다)

들어가며

몇 일 전 Hugging Face에서 새로운 리더보드를 발표한 것처럼, 최근 많은 AI 벤치마크들이 포화(saturate)되고 있습니다. 하지만 이러한 AI 벤치마크가 인간보다 더 뛰어난 일반 인공지능(AGI)이 탄생했음을 뜻하지는 않습니다. 왜일까요?

SEQUIA 벤처 캐피탈(VC)에 이번에 게재된 마이크 눕(Mike Knoop)의 인터뷰에서 힌트를 얻어볼 수 있을 것 같아 간략하게 정리하여 소개해봅니다. Knoop은 Keras를 만든 프랑수아 숄레(François Chollet)가 제안했던 새로운 기술을 익히는 효율성을 알아보기 위한 벤치마크가 필요하다고 말합니다. 인간의 사고와 추론이 비언어적 사고를 통해 이뤄진다면, 이를 측정하기 위해서는 어떠한 문제들이 필요할까요? 좋은 아이디어가 있으신 분들께서는 ARC Prize에 참여해보시는 것도 좋을 것 같습니다.

AGI를 위한 새로운 아이디어의 필요성

“Scale is not all you need. New ideas are needed.”

현재의 대규모 언어 모델(LLM)은 큰 데이터와 계산 자원을 사용하여 놀라운 성과를 내고 있습니다. 하지만 진정한 범용 인공지능(AGI)은 새로운 아이디어와 벤치마크가 필요합니다. 마이크 누프(Mike Knoop)는 스케일만으로는 충분하지 않으며, 새로운 접근 방식이 필요하다고 강조합니다. 그는 ARC Prize와 Zapier의 공동 창립자로, 현재 AI의 한계를 극복하기 위해 새로운 벤치마크를 제안합니다. 이 벤치마크는 프랑수아 숄레(François Chollet)가 2019년에 만든 것으로, 기존의 AI 기법으로는 해결이 어려운 문제들을 포함하고 있습니다.

ARC-AGI 벤치마크는 데이터를 많이 투입하더라도 단순히 기억하기 어려운 문제들로 구성되어 있습니다. 이 벤치마크를 해결하려면 매우 적은 양의 데이터로 새로운 작업을 학습할 수 있어야 합니다. 이는 현재의 LLM이 수행할 수 없는 능력입니다.

문제의 핵심

AI 응용 프로그램의 창업자들은 고객들이 어디에서 LLM 기반 솔루션을 사용하는지, 그리고 어디에서 사용하지 않는지를 잘 알고 있습니다. 고객 서비스는 AI의 주요 활용 분야 중 하나입니다. 하지만 LLM의 신뢰성 부족은 더 널리 사용되지 못하는 주요 원인 중 하나입니다.

효과적인 AI 시스템은 견고한 인지 아키텍처를 필요로 합니다. 현재의 LLM은 매우 고차원적 기억화를 수행하지만, 이는 예측 가능하지 않으며 제한적입니다. Knoop는 AI 학습 및 탐색의 스케일링이 중요한 만큼, 아키텍처 탐색도 중요하다고 말합니다. 현재까지 ARC-AGI 벤치마크에 대한 가장 효과적인 솔루션들은 자동화된 동적 방식으로 아키텍처 공간을 탐색하는 방식입니다.

트랜스포머 아키텍처는 매우 깊은 연역적 추론을 100% 정확도로 나타낼 수 있지만, 적절한 학습 알고리즘이 필요합니다. LLM의 큰 진보는 컴퓨팅 자원의 증가와 함께 이루어졌으나, 이는 AGI를 위한 충분조건이 아닙니다. LLM은 매우 고차원적 기억화를 수행하며, 이를 통해 매우 정교한 결과를 생성할 수 있습니다. 하지만, ARC를 해결하기 위해서는 보다 견고하고 정밀한 아티팩트를 생성할 수 있는 모델이 필요합니다.

외부의 아이디어가 필요한 이유

우리가 AGI에서 기대하는 학습 방식은 단순히 데이터와 컴퓨팅의 스케일링을 넘어선 것입니다. ARC Prize는 해결책의 오픈 소싱을 촉진하고, 85% 이상의 솔루션에 100만 달러 이상의 상금을 제공합니다. Knoop는 ARC Prize의 해결책이 "다르게 생각하거나, 다른 삶의 경험을 가진 외부인으로부터 나올 것"이라고 예측합니다. 이는 보다 민첩하고 학제적인 기관을 통해서 과학의 (발전) 속도를 높이자는 패트릭 콜리슨(Patrick Collison)의 주장과도 일맥상통합니다.

Knoop는 ARC Prize의 해결책이 외부에서 나올 가능성이 크다고 봅니다. 다른 분야의 경험과 아이디어를 접목하여 새로운 접근 방식을 개발할 수 있기 때문입니다. 이러한 접근 방식은 기존의 데이터 및 컴퓨팅 자원을 넘어서, AGI의 새로운 가능성을 열어줄 것입니다.

https://arcprize.org

ARC Prize

[익명(rack3719)]

“Scale is not all you need. New ideas are needed.”

[젤시러(position4791)]

확실히 트랜스포머만으론 agi 못간다는 주장에 슬슬 무게가 실리는듯 어제본 빌게이츠 말도 보면 스케일 늘리는건 거의 안중에도 없는 것처럼 말하는 느낌이던데

[익명(awful1887)]

두 번 정도는 효과있다고 했으니 일단 지켜봐야 할 듯 - dc App

[익명(awful1887)]

[익명(h1r5enpsrrsq)]

대르쿤 - dc App

[익명(landofooo)]

패러다임의 변화가 필요하다