22add528e4db75a360b8dfbb13d43670046affdf57e1facb73d0710c2107f6e8b562c074db6402ba7c75a96337c193ef1ac8e1bdfb3610f34a91d36185119c9492de30e97b7f090d99d354261ed5ce5f924bf9beea4adfc72c



https://nonint.com/2024/06/03/general-intelligence-2024/

General Intelligence (2024)

2024년 6월 3일 jbetker 게시

AI 분야의 사람들은 AGI에 대한 예측을 하는 것을 좋아합니다. 저는 생각이 있고, 항상 적어두고 싶었습니다. 그렇게 합시다.

이것은 제가 과거에 언급한 것이 아니기 때문에, 먼저 제가 의미하는 "일반 지능"이 무엇을 의미하는지 정의하는 데 최선을 다하겠습니다. 일반 지능 개체는 다음 세 가지의 특별한 종합을 달성하는 개체입니다.

  • 복잡한 환경과 상호 작용하고 관찰하는 방법. 일반적으로 이것은 자연 세계를 지각하고 상호 작용하는 능력인 구현을 의미합니다.

  • 환경을 포괄하는 강력한 세계 모델입니다. 이것은 기업이 합리적인 정확도로 빠른 추론을 수행할 수 있도록 하는 메커니즘입니다. 인간의 세계 모델은 일반적으로 "직관", "빠른 사고" 또는 "시스템 1 사고"라고 불립니다.

  • 임의의 주제에 대해 심층적인 성찰을 수행하기 위한 메커니즘입니다. 이것은 "추리", "느린 생각" 또는 "시스템 2 생각"과 같은 다양한 방법으로 생각됩니다.

이 세 가지가 있다면 일반적으로 지능형 에이전트를 구축할 수 있습니다. 방법은 이렇습니다.

먼저 하나 이상의 목표를 가지고 에이전트를 시드합니다. 에이전트가 세계 모델과 함께 시스템 2 사고를 사용하여 목표에 맞게 최적화할 수 있는 방법을 생각해 내도록 합니다. 가장 좋은 아이디어를 선택하고 계획을 수립합니다. 이 계획을 사용하여 세계에 대한 조치를 취합니다. 이는 이 행동의 결과를 관찰하고 그 결과를 세계 모델을 기반으로 한 기대와 비교합니다. 여기서 얻은 새로운 지식으로 세계 모델을 업데이트할 수 있습니다. 시스템 2 사고를 사용하여 계획(또는 아이디어)을 변경합니다. 헹구고 반복합니다.

일반 지능에 대한 나의 정의는 위 사이클을 장기간에 걸쳐 반복적으로 일관되게 실행하여 어떤 목표도 최적화하려고 시도할 수 있는 에이전트입니다.

실제로 임의의 목적을 달성할 수 있는 능력은 요구 사항이 아닙니다. 어떤 목표는 너무 어렵습니다. 적응성과 일관성이 핵심입니다. 에이전트는 알고 있는 것을 사용하여 계획을 합성할 수 있으며, 장기간에 걸쳐 하나의 목표를 향해 지속적으로 행동할 수 있습니까?

이를 통해 일반적인 지능을 구축하는 길은 어디에 있다고 생각합니까?

월드 모델

우리는 이미 자동 회귀 변환기, 특히 "옴니 모델" 품종으로 세계 모델을 구축하고 있습니다. 그들이 얼마나 강력한지는 논쟁의 대상입니다. 하지만 좋은 소식이 있습니다. 제 경험에 따르면, 규모는 견고성을 향상시키고 인류는 현재 자기 회귀 모델을 확장하는 데 자본을 쏟고 있습니다. 따라서 견고성이 향상될 것으로 기대할 수 있습니다.

그럼에도 불구하고, 저는 현재 우리가 가지고 있는 세계 모델이 일반적으로 지능적인 에이전트를 구축하기에 충분하다고 생각합니다.

사이드 노트: 또한 시스템 2의 사고와 실제 세계를 관찰하는 상호 작용을 통해 견고성이 더욱 향상될 수 있다고 생각합니다. 이것은 우리가 아직 AI에서 실제로 보지 못한 패러다임이지만 생물체에서는 항상 발생합니다. 견고성을 향상시키는 데 매우 중요한 메커니즘입니다.

Yann과 같은 LLM 회의론자들이 우리가 아직 고양이의 지능을 얻지 못했다고 말할 때, 이것은 그들이 놓치고 있는 점입니다. 네, LLM은 아직 모든 고양이가 가지고 있는 기본적인 지식이 부족하지만, 이러한 방식으로 스스로 발전할 수 있는 능력을 감안할 때 그 지식을 배울 수 있습니다. 그리고 이러한 자기 개선은 변압기와 적절한 성분으로 가능합니다.

추리

시스템 2 사고를 달성하는 방법은 잘 알려져 있지 않지만, 현재 우리가 사용할 수 있는 기술과 컴퓨팅으로 트랜스포머 패러다임 내에서 가능하다고 확신합니다. 위에서 설명한 사이클에 충분히 적합한 시스템 2 사고 메커니즘을 구축하려면 2-3년이 남았다고 추정합니다.

실시예

구현은 AI로 아직 파악 중이지만 단기적인 발전에 대해 다시 한 번 매우 낙관적입니다. 현재 로봇공학 분야와 LLM 사이에 무시하기 어려운 융합이 일어나고 있습니다.

로봇은 "앞으로 나아가다", "일어나다", "킥볼", "물건에 닿다" 등과 같은 매우 추상적인 명령에 반응할 수 있는 매우 유능해지고 있습니다. 예를 들어, 그림의 근황이나 최근 출시된 Unitree H1을 참조하십시오.

스펙트럼의 반대쪽 끝에서 대형 옴니 모델은 이러한 정교한 로봇 시스템으로 보낼 수 있는 명령에 임의의 감각 입력을 매핑할 수 있는 방법을 제공합니다.

저는 최근에 스마트폰 카메라를 통해 세상을 관찰하면서 GPT-4o와 이야기하면서 밖에서 많은 시간을 보내고 있습니다. 저는 물리적 세계에 대한 지식을 테스트하기 위해 질문하는 것을 좋아합니다. 완벽과는 거리가 멀지만 놀랍게도 능력이 있습니다. 환경에 일관성 있는 일련의 작업을 수행하고 결과를 관찰(및 이해)할 수 있는 시스템을 구축할 수 있습니다. 저는 우리가 앞으로 1-2년 안에 정말 인상적인 진전을 볼 수 있을 것이라고 생각합니다.

이것은 제가 개인적으로 가장 흥분하는 AI 분야이며, 앞으로 몇 년 동안 대부분의 시간을 이 작업에 사용할 계획입니다.

TL;DR

요약하자면, 우리는 기본적으로 세계 모델 구축을 해결했고, 시스템 2에 대해 2-3년, 구현에 대해 1-2년의 시간을 가지고 있습니다. 후자의 두 가지는 동시에 수행할 수 있습니다. 모든 재료가 구축되면 이를 통합하여 위에서 설명한 사이클링 알고리즘을 구축해야 합니다. 1-2년 더 시간을 주고 싶습니다.

그래서 저의 현재 추정치는 AGI의 경우 3-5년입니다. 저는 일반적으로 지능적이고 구체화된 에이전트(개인적으로 AGI라고 부르는 에이전트)와 매우 비슷해 보이는 것에 대해 3으로 기울고 있습니다. 그리고 몇 년 더 시간을 들여 개리 마커스의 세계를 설득할 수 있는 수준으로 다듬어야 합니다.

이렇게 늙어가는 모습을 보니 정말 기대가 됩니다. ?