엔비디아 연구원 주장

위에 트윗 제미니 어드밴스드로 번역함



일부 사람들은 이렇게 반론합니다: "Sora는 물리 법칙을 배우는 게 아니에요. 그저 2D 픽셀들을 조작하는 것뿐이죠."

저는 이런 축소주의적 관점에 동의하지 않습니다. 이는 마치 “GPT-4는 코딩을 배우는 게 아니에요, 그저 문자열들을 재구성하는 것일 뿐이죠”라고 말하는 것과 같습니다. 트랜스포머들이 하는 일은 단순히 정수값으로 이루어진 시퀀스(토큰 ID)들을 다루는 것이고, 신경망들이 하는 일은 부동 소수점 숫자들을 처리하는 것이죠.  이는 올바른
주장이 아닙니다

Sora의 부드러운 물리 시뮬레이션은 대규모 text2video의 학습으로 얻은  파생 효과입니다.

마찬가지로 GPT-4가 실행 가능한 Python 코드를 만들려면 일정 수준의 구문(syntax), 의미(semantics), 데이터 구조를 다룰 수 있어야 합니다. GPT-4는 Python 구문 트리를 직접적으로 저장하지 않습니다.

Sora는 비디오 픽셀을 가능한 한 정확하게 만들기 위해 텍스트를 3D 세계로 바꾸는 능력, 3D 변환, 광선 추적 렌더링과 같은 방법, 그리고 물리 법칙에 대한 암묵적인 학습을 해야 합니다. 목표를 달성하기
위해 게임 엔진의 개념 또한 배워야 하죠.

물리적 상호작용을 고려하지 않는다면, 언리얼 엔진 5도 영상 픽셀을 생성해내는 하나의 (정교한) 프로세스일 뿐입니다. Sora 역시 영상 픽셀을 생성하는 프로세스이지만, end-to-end 트랜스포머를 기반으로 한다는 점이 다릅니다. 이들은 추상화 측면에서 동일한 수준이라고 볼 수 있습니다.
차이점은 언리얼 엔진 5가 수작업으로 만들어져 정확하다는 점입니다. Sora는 순전히 데이터를 통해 학습되어 “직관적”이라는 점이죠.

Sora가 게임 엔진 개발자들을 대체할 수 있을까요? 절대 아닙니다. Sora의 물리적 이해는 아직 불안정하고 완벽하지 않으며, 우리의 물리적 상식과 어긋나는 헛것을 만들어내기도 합니다. 아래 영상에서처럼 물체간의 상호작용 또한 정확히 파악하지 못하고 기묘한 실수를 저지르기도 하죠.

Sora는 GPT-3의 등장과 같은 순간입니다. 2020년 당시 GPT-3는 완벽하지 않아 다양한 프롬프트 조작과 세심한 관리를 요구했습니다. 하지만 이 모델은 인-컨텍스트 학습이  파생하는 특성임을 최초로 인상 깊게 보여주었습니다.

GPT-3의 불완전한 점에만 집중하지 마세요. 가까운 미래에 나올 GPT-4의 발전 방향에 대해 생각해 보세요

- dc official App