[📪정보] (정보글) 우카시 카이저가 말하는 텍스트 모델(AGI)가 가능한 이유

[월드모델(company2700)]

※ 해당 글은 저의 주관적인 생각이며 틀리거나 부정확할 수 있으니 주의 바랍니다.

텍스트 모델로 달에 가기

최근 'OpenAI' 사장, 그렉 브록만은 인터뷰에서 다음과 같이 말하였다.

“텍스트 모델(LLM)이 과연 어디까지 갈 수 있는가, 

텍스트 지능이 대체 어디까지 닿을 수 있는가, 

이 세계가 돌아가는 방식에 대한 실질적인 개념 파악이 과연 가능한가,

이런 논쟁이 계속 있어 왔습니다.

저는 우리가 그 물음에 확정적으로 답을 내렸다고 봅니다. 

AGI까지 갑니다. 

거기까지의 경로가 보입니다. 

지금 이 시점에서, 우리에게 경로가 보입니다.”

그는 어째서 텍스트 모델만으로도 AGI에 도달 가능하다고 말하였는가?

언어의 한계는 세계의 한계

‘Early Fusion’ 구조의 네이티브 멀티 모달 모델은 서로 다른 모달리티의 데이터를 입력 단계부터 결합하여, 

내부 잠재 공간(Latent Space) 내에서 인접한 벡터 좌표를 공유하며 학습된다.

쉽게 이야기하면 사과(텍스트)와 사과(이미지)는 내부 잠재 공간 내에서 인접한 벡터 좌표를 공유한다.

즉, 모든 모달리티(이미지, 비디오, 오디오 등)는 텍스트를 통해 인접한 벡터 좌표로 표현될 수 있다는 말이다.

따라서 텍스트는 세상을 표상할 수 있으며, 표상된 세상의 함축인 텍스트 데이터 셋만으로도 세상을 이해할 수 있다.

일리야는 다음과 같이 말하였다.

“텍스트는 그 데이터를 생성한 실제 과정의 압축된 표현이며, 

이를 통해 근본적인 현실에 대한 모든 것을 학습할 수 있다.”

하지만 텍스트로 현실을 표상하면 다음과 같은 문제가 발생한다.

"화면 중앙에 위치한 약 15cm 지름의 사과. 껍질은 짙은 선홍색을 띠나, 상단 꼭지 부근으로 갈수록 황록색의

미세한 줄무늬가 세로 방향으로 불규칙하게 뻗어 있음. 사과 표면에는 1mm 미만의 노란색 기공(Lenticels) 수천

개가 하단부로 갈수록 밀도가 높아지며 분포함. 오른쪽 상단으로 뻗은 5cm 길이의 갈색 꼭지는 끝부분이 거칠게

잘려 나무껍질의 섬유질이 드러나 있으며, 그 기점으로부터 타원형의 짙은 녹색 잎사귀 하나가 부착됨. 잎사귀

표면에는 미세한 흙먼지 알갱이 수십 개가 무작위로 흩어져 있고, 중심 인맥을 기준으로 왼쪽 잎맥은 12개,

오른쪽은 11개가 비대칭적으로 뻗어 나감. 조명은 좌측 상단에서 입사되어 사과의 우측 하단에 부드러운 반원형의

그림자를 형성하며, 그림자의 농도는 사과 접촉면에서 가장 짙고 외곽으로 갈수록 거리에 따라 감쇄함.

배경은 순백색의 무한 평면이며 사과 하단에는 아주 미세한 먼지 입자들이 그림자와 섞여 있음."

‘이미지’의 미세한 디테일들을 설명하기 위해 수천 개의 텍스트 토큰을 써도, 

실제 이미지 벡터가 가진 1:1 대응 좌표를 전부 다 담지 못하고 손실이 발생한다.

고차원을 저차원으로 구겨 넣는 과정에서, 

언어로 정의되지 않는 '미세한 차이(노이즈)'들은 모두 버려지기 때문이다.

텍스트는 정보를 압축할 뿐 보존하지는 못한다.

이러한 손실 때문에 텍스트 모델은 세상을 이해하지 못하게 되는가?

사실 이러한 손실은 큰 문제가 되지 않는다.

인간이 인지하고 있는 ‘현실’도 뇌가 해석한 ‘주관적인 상태’이기 때문이다.

시각 자극을 인지하는 과정에서 주변의 다른 정보에 영향을 받아 원래의 사물에 대해, 

시각적인 착각이 발생하는 현상, 즉 사물이나 특정 상황을 있는 그대로 보지 못하는 것을 ‘착시’라 부른다.

어째서 인간은 이런 ‘주관적인 상태’로부터 ‘객관적인 현실’을 구축할 수 있었는가?

텍스트 추론 모델로 달에 가기

https://youtu.be/SUYdL4K1GUk

'Attention Is All You Need'

트랜스포머 논문의 저자이자 o1 추론 연구를 주도한, 

우카시 카이저는 다음과 같이 말하였다.

“사회자: 리처트 서튼 교수는 LLM은 AGI에 도달할 수 없다던데요”

“우카시: 글쎄요 서튼 교수가 말한 게, 구식 LLM 방식인 것 같은데요, 그건 맞아요, 도달 못하죠.

하지만 추론 모델은 근본적으로 다릅니다,  추론 모델은 확실히 과학을 가속할 겁니다.

병렬로 더 많은 실험들을 돌릴 수 있어요, GPU가 부족할 뿐입니다.”

‘추론(Inference)’은 주어진 정보, 데이터, 전제를 바탕으로 논리적인 사고 과정을 거쳐, 

새로운 결론이나 예측을 도출하는 지적 행위이다.

이미 알고 있는 사실(전제)에서 필연적 혹은 개연적인 새로운 판단을 이끌어내는 과정으로, 

논리적 사고와 상황 판단 능력이 핵심이다.

인간은 ‘주관적인 현실’을 추론을 통해 ‘그 상태에 대한 가설’을 세우고 ‘도구’를 통해 증명해왔다.

따라서 LLM의 추론 능력이 임계치를 넘어서면, 

표상된 세상의 함축인 텍스트 데이터 셋만으로도 ‘주관적으로 세상’을 인지하며, 

추론을 통해 ‘그 상태에 대한 가설’을 세우고 ‘도구’를 통해 증명하여 ‘객관적인 현실’을 이해할 수 있을 것이다.

LLM을 ‘확률적 앵무새’라고 비판하는 르쿤이 ‘o3는 LLM이 아니다’라고 한 이유도 같은 맥락이다. 

“사회자: 최근에 데미스 하사비스가, 

1901년까지 데이터만 받은 모델이, 

아인슈타인이 했던 것처럼 1905년에 상대성 이론을 만들어낸다면.

그게 저의 AGI 일 겁니다라고 답했어요.

하사비스는 LLM이 그렇게 하기엔 결정적인 뭔가가 빠져있다고 계속 말하거든요.

하지만 당신은 텍스트, 멀티 모달의 현 LLM이 그걸 해낼 수 있다고 말씀하시는 것 같아요.

결정적인 돌파구가 빠졌다기보단, 몇몇 단계를 나아가다 보면 될 것 같다고 보시는 건가요?”

“우카시: 데미스가 말한 그 조건이라면, 

정말 좋은 추론 모델이 나오면 그 갈증을 해소시켜줄 거라고 봅니다

비디오 데이터 없어도 가능할지도요.

상대성 이론은, 방을 어떻게 걸을지 그 물리적 직관에서 큰 혜택을 받는 게 아니거든요.

조금은 도움 될지 몰라도요 텍스트 안에도 이미 물리적 세계에 대한 지식이 꽤 많이 들어있습니다.

그래서 하사비스 조건은 멀티 모달 작업 없이도 가능하다고 봅니다.

LLM, 특히 오늘 말씀드린 것처럼 구형 모델과는 확연히 다른, 

추론 모델들이라면 그 목표에 접근하고 있습니다.”

“사회자: 하지만 그 방대한 비디오 데이터들이, 

큰 중요도가 없다 할지라도 월드 모델의 소스가 되는 것 아닌가요?

컴퓨팅과 비디오 데이터를 아주 많이 투입하면 모델이 이해할 수 있는 세상,

월드 모델이 만들어지는 것 아닌지요.

그런 식으로 힘들다면 월드 모델은 따로 만들어야 하는 건지…”

“우카시: 저는 항상 “월드는 여러 개다”라고 답해요.

비디오 데이터는 로봇이 방을 걷는 월드 모델에 확실히 좋습니다.

하지만 해리포터 소설 속 월드라면, 

해리포터 소설 텍스트로 구축하는 게 더 낫습니다.

수학 조합론에 대한 월드 모델은, 현 모델로 충분하죠, 

우린 물리적으로 이 세상에 살고 있고 그건 비디오에 담겨 있어요.

하지만 우리 머릿속에 있는 그 수많은 세상들은 대부분 텍스트로 표현됩니다.

그래서 전 언어 모델이 이미 ‘추상적인 쪽’의 월드 모델이라 생각합니다.”

우카시의 말처럼, AGI 개발은 물리적 직관에서 큰 혜택을 받는 분야가 아니다.

해리포터 소설 속 월드라면, 해리포터 소설 텍스트로 구축하는 것이 더 나은 것처럼, 

AGI 개발의 핵심은 ‘코딩’이며, 그것은 현 LLM이 가장 잘 하는 것이기도 하다.

“우카시: AGI의 정의를 ‘사람이 할 수 있는 걸 다한다’라고 하면 좀 다르죠, 

평범한 인간은 상대성 이론은 발명 못해도 의자 가져오는 것은 할 수 있으니까요.

그래서 그 월드 모델 부분은 비디오로 훈련시키는 게 중요해질 겁니다.”

우리가 원하는 AGI는 무엇인가?

평범한 인간처럼 의자를 가져오는 것인가?

아니면 아인슈타인처럼 상대성 이론을 발명하는 것인가?

둘 다 아니다.

바로 ‘재귀 개선’이다.

우카시 카이저와 그렉 브룩만은 말한다.

‘재귀 개선’을 시작할 준비가 되었다는 것을.

첫 단계인 ‘재귀 개선’을 할 수 있는 AGI 개발에 성공만 한다면, 

인공지능은 금방 인간 수준 역을 빠르게 지나쳐 갈 것이다.

우카시는 ‘2021년 6월 - 현재’까지 ‘OpenAI’에서 일하고 있으며,

‘OpenAI’ 사장인 그렉 브록만의 ‘LLM’만으로도 AGI가 가능한 이유에 대해 충분히 설명하였다.

컨텍스트 그 너머

그는 말한다, ‘추론’이라는 새로운 패러다임이 나왔고 이쪽은 이제 시작이란 것을.

“우카시: 추론 패러다임은 너무 초기라서 아주 가파른 상승곡선의 시작이라고 봅니다.

추론 모델은 확실히 과학을 가속할 겁니다, GPU와 에너지가 부족할 뿐입니다.

향후 1-2년 안에 매우 급격한 발전이 있을 수 있습니다.”

그리고 우리는 ‘기타 방법’을 실시간으로 보고 있다.

바로 ‘데이터센터 속 천재들의 나라’이다.

재귀 개선은 어떤 식으로 일어나는가?

기술적 특이점을 위해선 ‘재귀 개선’하는 범용 인공지능이 필요하다.

대부분의 사람들은 충분히 지능적인 시스템이라면 알아서 재귀 개선 할 것이라 생각한다.

“재귀적 자기 개선(Recursive self-improvement, RSI)은 

인공 일반 지능(AGI) 시스템이 인간의 개입 없이 자체 능력과 지능을 향상시켜 

초지능 또는 지능 폭발로 이어지는 과정이다.”

나 또한 그랬고 그동안 이 부분에 대하여 깊게 생각해 본 적이 없었다.

재귀 개선을 이해하려면 ‘인류의 발전사’를 알아볼 필요가 있다.

인류의 발전사가 재귀 개선 그 자체이기 때문이다.

문명이 가진 고유의 속성

주먹에 쥐고 쓸 수 있는 도끼 형태의 모양을 가지는 뗀석기를 ‘주먹도끼’라 부른다. 

그렇다, 인류의 시작은 고작 이런 돌덩어리를 ‘도구’로 쓰는 원시 문명이었다.

그런 원시 문명이 현대엔 고도로 발전하여 로켓을 쏘는 우주 문명이 되었다.

이러한 것이 어떻게 가능한가?

인류의 지능이 갑자기 더 똑똑해진 것일까?

아니면 외계인 같은 ‘외부’의 도움이라도 있었던 것일까?

아니다, 이러한 발전이 가능했던 이유는 ‘문명’이 가진 ‘수확 가속의 법칙’이란 고유의 속성 때문이다.

현실에선 다양한 현상이 일어난다.

A라는 사람이 ‘특정 현상 1’을 보고 ‘a 가설’을 발표했다.

B라는 사람이 그 가설은 틀렸다고 ‘b 가설’을 발표했다.

그러자 C라는 사람이 둘 중 어느 가설이 맞는지 ‘도구’를 이용하여 증명해 보자고 한다.

그 결과 ‘a 가설’과 ‘b 가설’은 둘 다 틀렸고 새로운 ‘c 이론’이 증명됐다.

이 과정에서 인류 문명은 c 이론과 도구를 얻었다.

이러한 A → B → C의 과정이 문명의 규모에서 각 분야마다 일어나고

그리고 그 각 분야마다 생겨난 이론과 도구들이 계속 쌓이고 서로 시너지를 일으키기 시작한다.

이것이 바로 레이 커즈와일이 말하는 ‘수확 가속의 법칙’인 것이다.

“수확 가속의 법칙이란 진화 과정이 가속적이라는 현상,

그 산물 또한 기하급수적으로 증가한다는 현상을 나타내기 위해 내가 만든 말이다.

진화 과정의 산물에는 연산 같은 정보 관련 기술들이 포함된다.”

이러한 가속적 기술 발전이 가능한 이유는 이전 단계의 혁신에서 사용했던 지식과 도구들이 계속 누적되고 

그것들을 이용하여 더욱 강력한 기술을 더 빠르게 창조할 수 있기 때문이다.

재귀 개선에 필요한 6가지, 문명 / 현상 / 추론 / 가설 / 도구 / 증명.

인류의 발전사를 보고 1가지 중요한 점을 깨달을 수 있다.

그것은 돌덩이를 쓰던 원시 문명에서 로켓을 쏘는 우주 문명까지의 발전사에서

인류의 지식의 총량은 늘어났지만 근본적인 인류의 지능, 즉.. 뇌의 아키텍처엔 큰 변화가 없었단 것이다.

이것을 통해 재귀 개선에 제일 중요한 것은 ‘추론’ 능력이란 것을 알 수 있다.

추론 능력을 통해 ‘문명’에 속한 구성원이 ‘현상’을 추론하여 ‘가설’을 세우고 ‘도구’를 통해 ‘증명’한다.

이러한 과정이 문명의 규모에서 동시다발적으로 일어나고 시너지를 일으키는 ‘수확 가속의 법칙’이 일어나면서

인류는 고도화된 현대 문명까지 재귀 개선 한 것이다.

우리는 이러한 과정을 ‘데이터센터 속 천재들의 나라’를 통해 구현할 수 있다.

수많은 추론 에이전트들을 데이터센터 속에 구축하고 ‘문명 / 현상 / 추론 / 가설 / 도구 / 증명’의 시너지를 만든다.

예를 들면 작은 모델에 'AGI 아이디어'를 구현하고 증명된 것들을, 

큰 모델에 적용하는 싸이클을 문명 규모로 닫힌 재귀 개선 루프로 빠르게 반복한다.

이것은 곧 가중치를 실시간으로 업데이트하는 것과 같아진다.

따라서 진정한 병목은 ‘새로운 패러다임의 발견’이 아닌, 

‘GPU’와 ‘에너지’인 것이다.

이해란 무엇인가?

https://youtu.be/Z9SL2ygm2Sc

인텔에서 수석 부사장을, AMD에서 부사장과 수석 설계자를 지냈으며, 

Apple과 테슬라 등에서도 중책을 역임한 천재 중의 천재인 짐 켈러는 다음과 같이 말하였다.

“우리가 이해라고 부르는 것은, 지식의 총합이 아니라, 정보 관계의 합이다.

그래서 나는 AI가 정보를 아는 게 아니라, 지식을 안다고 생각한다.”

여기 사과 사진을 보면 우리는 사과가 배, 자두에 가깝고, 자동차와는 멀고, 컴퓨터랑은 멀지만, 

때론 어느 IT 회사 (애플) 과는 가깝다는 관계 정보를 통해 사과를 이해했다고 볼 수 있다.

사실 생각해 보면, 우리도 정보를 아는 게 아닌 정보들 사이의 관계를 아는 것이다.

자동차를 보면 먹는 것과의 정보로 묶지 않고, 이동이나 위험한 것과 묶는다.

그러면 조금 더 이해하게 되는 것이다.

이런 면 때문에 현 AI 언어 모델들이 단순하게 단어를 뱉는다는 비판이 있지만.

분명 벡터로 변환해서 단어 사이의 관계를 뱉어내는 것이고, 

그건 인간이 이해했다고 표현하는 것과 비슷하다.

나는 최근 들어 확실하게 말할 수 있게 되었다.

현 AI 언어 모델들은 확실하게 세상을 이해하고 있다, 

그것이 이해와 멀다고 생각되는 것은 단순히 GPU의 문제이다.

모두 수고하셨습니다.

출처: OpenAI 발표 영상

‘GPT-5’라는 베이스 모델을 강화 학습으로 고점을 뚫어낸 'GPT-5.2'를 기점으로, 

최근에 무언가 흐름이 바뀌었다는 체감을 많이 받았습니다.

우리는 확실하게 ‘재귀 개선’ 초입 단계에 진입한 것으로 보입니다.

알트만은 ‘AGI는 과학적 문제 ASI는 공학적 문제’라고 하였습니다.

‘공학적 문제’는 돈을 쏟아부어 해결 가능한 것이 많습니다.

예를 들면 ‘GPU’와 ‘에너지’의 문제처럼.

알트먼 "2028년 말 '초지능' 등장...데이터센터 지능이 인류 넘어설 것"

https://www.aitimes.com/news/articleView.html?idxno=207016

모두 수고하셨습니다.

다음엔 메타버스에서 만나요~

[하늘바라기(function8845)]

개추!!!

[익명(115.9)]

만약 우리가 통속에 든 뇌라면? 어떤 미친과학자가 거기에 자극을 주고있는거라면?

[익명(surf2526)]

결국 agi 정의에 따라 갈리는 문제임 하사비스는 agi의 기준이 보편지능의 증거인 인간이지만 oai는 완전히 다른 느낌이네

[かみ(thank3468)]

언어의 한계는 세계의 한계다.

[203847년걸리겠죠(awful6856)]

수고햇다

[익명(epsilonbirgo)]

퀄리아조차 결국 전기신호로 변환되니 당연한 귀결.

[ㅇㅇ 1(110.76)]

감각질은 실제 물리현상이랑 관련없는 개념인데 뭔 개소리임

[알트만과머스크(blessed4035)]

[Xayin(cosmic666)]

언어의 한계가 세계의 한계라는 명제는 내가 생각하고 언어화할 수 있는 것이 나의 세계를 규정하므로 언어로 표현될 수 없는 것(사랑, 삶의 태도, 감각질 등)이 존재한다는 의미입니다(말로표현될 수 없는 것에 대해서는 침묵하라). 이 명제는 언어를 논리적으로 구조화된 명제들의 체계로 전제하므로 굳이 말하자면 기호주의에 가까운 명제입니다. 반면 LLM에서 언어는 데이터셋으로부터 유도된 조건부 확률 분포를 근사하여 다음 토큰을 예측하는 과정이며, 토큰의 의미는 논리적 대응이 아니라 잠재공간 내 위치로 표상됩니다. 명제의 의미를 LLM에 맞게 최대한 확장해서 적용하더라도 오히려 언어 중심의 잠재공간이 월드모델의 충분조건이 아니라는 근거가 됩니다. 이 문장은 제외하는 것이 좋겠습니다.

[초존도초(htr3c654r6ft)]

https://gall.dcinside.com/thesingularity/1084806
내가 어제 생각한 거랑 결이 똑같아서 놀람 ㅋㅋ

[익명(epsilonbirgo)]

나도 최근에 비디오데이터로 월드모델 학습시킨다는 것에 의구심이 들었음. 영상물도 결국 가시광선 외의 영역이라든지 이런 거 싹 다 누락되어 있는 불완전한 모사 체계인데 큰 틀에서 텍스트랑 다를 바 없지 않나. 압도적인 연산량으로 영상 데이터에서 일반지능을 뽑을 수 있으면 텍스트로도 가능하지 않나

[초존도초(htr3c654r6ft)]

@ㅇㅇ LLM으로 AGI가 가능해지는 순간 인류는 코페르니쿠스적 전환을 맞이할 듯 - 2026 AGI

[Asi(worship5388)]

우리가 원하는 AGI는 무엇인가? 평범한 인간처럼 의자를 가져오는 것인가? 아니면 아인슈타인처럼 상대성 이론을 발명하는 것인가? 둘 다 아니다. 바로 ‘재귀 개선’이다.

[Asi(worship5388)]

섹스 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 수고했다 게임오바 싹다 가속시켜 씹색기덜

[익명(appear4566)]

결국 언어라는 추상적인 세계로 만들어진 것에서는 극한을 볼 수 있다는 거네 그걸 현실에 어떻게 접목 치환시키는지가 중요하고

[익명(epsilonbirgo)]

인간들은 실체와 추상이 나뉜다고 착각하지만 실제로는 그 둘은 구분되지 않음. 인간의 인지 한계상 감각질조차 전부 추상임.

[익명(appear4566)]

@ㅇㅇ 구분이 안되면 물리적 현실에 개입이 가능해야하는데 개입이 안되면 구분이 되는 거지

[사신짱(syguff)]

@ㅇㅇ 인간의 직관과 현실 물리법칙이 괴리되는 경우가 많아서 구분된다 생각함

[익명(epsilonbirgo)]

@사신짱 인간은 현실 물리법칙이 정확히 어떤 건지 알 수 없음. 직관과 직관끼리 어긋나는 것만 알아채고 직관을 수정할 수 있을 뿐임. 결국 인간이 알 수 있는 건 추상뿐이기에 실체와 추상이 안 나뉜다고 말하는 거임. 사실상 실체는 인간이 결코 닿을 수 없는 이데아 같은 거니까.

[익명(qksrhwjdslr)]

???: 달로는 비행기에 갈 수 있습니다

[스칼렛(ashamed6749)]

배달, 택배를 휴머노이드가 하는데 그게 사람과 99% 비슷하다면 범용지능이라고 생각할 듯

[마음의준비(thor2018)]

[레알팜(lottohelp)]

[glauca(provoke3696)]

[사신짱(syguff)]

보였다 빈틈의 실 AGI

[천사다천사(jjtheman999)]

확실히 블랙웰 보급 이후 뭔가 다르다. 이제 루빈, 파인만 까지 보급되면 게임오버다 - dc App