[📪정보] 엔비디아 연구원의 테슬라 옵티머스 분석

경이로운 테슬라 옵티머스를 리버스 엔지니어링해 봅시다. 내부자 정보 없이 제가 직접 분석한 내용입니다. 길게 읽어주세요:

1. 부드러운 손 움직임은 거의 확실하게 인간 조작자의 모방 학습("행동 복제")에 의해 훈련된 것입니다. 시뮬레이션을 통한 강화 학습이 대안이 될 수 있지만, 이 경우 일반적으로 동작이 불안정하고 손 포즈가 부자연스러워집니다.

사람의 데모를 수집하는 방법에는 최소 4가지가 있습니다:

(1) 맞춤형 원격 조작 시스템 - Tesla 팀에서 가장 많이 사용하는 방법이라고 생각합니다. 오픈 소스 예시: 스탠포드 AI 랩(https://tonyzhaozh.github.io/aloha/)의 저비용 양손 로봇 팔 및 원격 조작 시스템인 ALOHA. 이 시스템은 리모컨에 AAA 배터리를 넣거나 콘택트렌즈를 조작하는 등 매우 정밀하고 민첩한 동작을 가능하게 합니다.

(2) 모션 캡쳐(MoCap): 할리우드 영화에 사용되는 모션 캡쳐 시스템을 적용해 손 관절의 세밀한 움직임을 포착합니다. 옵티머스의 다섯 손가락 손은 인간 조작자와의 '구현 간격'이 없는 직접 매핑을 가능하게 하는 훌륭한 설계 결정입니다.

예를 들어, 시연자는 사이버장갑(http://cyberglovesystems.com)을 착용하고 테이블 위에 있는 큐브를 잡을 수 있습니다(동영상 참조). 사이버글로브는 모션 신호와 햅틱 피드백을 실시간으로 캡처하여 옵티머스에 다시 타겟팅할 수 있습니다.

(3) 장갑과 마커를 착용하는 것은 서툴 수 있습니다. 모션캡을 수행하는 다른 방법은 컴퓨터 비전을 이용하는 것입니다. NVIDIA의 DexPilot을 사용하면 마커 없이 장갑을 끼지 않고도 데이터를 수집할 수 있습니다. 작업자는 맨손으로 작업을 수행하기만 하면 됩니다. 4개의 인텔 리얼센스 심도 카메라와 2개의 엔비디아 타이탄 XP GPU(예, 2019년에 작동)가 픽셀을 로봇 학습을 위한 정밀한 모션 신호로 변환합니다.

(4) VR 헤드셋: 교육실을 VR 게임으로 바꾸고 사람이 옵티머스를 '역할 놀이'할 수 있습니다. 기본 VR 컨트롤러 또는 사이버글로브를 사용하여 가상의 옵티머스 손을 제어할 수 있습니다. 이는 확장 가능한 원격 데이터 수집이라는 장점이 있으며, 전 세계의 주석가들이 현장에 오지 않고도 기여할 수 있습니다.

VR 데모 기술은 제가 스탠포드에서 참여했던 iGibson 가정용 로봇 시뮬레이터와 같은 연구 프로젝트에 등장했습니다(https://svl.stanford.edu/igibson/).

위의 4가지는 상호 배타적이지 않습니다. 옵티머스는 다양한 장단점을 위해 이 네 가지를 조합하여 사용할 수 있습니다.

2. 신경 구조. 옵티머스는 비디오 입력, 액션 출력 등 엔드 투 엔드 훈련을 받았습니다. 이는 다음과 같은 구성 요소를 갖춘 멀티모달 트랜스포머에 의해 구현되었다고 확신합니다:

(1) 이미지: 효율적인 ViT의 일부 변형 또는 단순히 오래된 ResNet/EfficientNet 백본(https://arxiv.org/abs/1905.11946). 블록 픽 앤 플레이스 데모에는 정교한 비전이 필요하지 않습니다. 이미지 백본의 공간 특징 맵은 쉽게 토큰화할 수 있습니다.

(2) 비디오: 두 가지 방법. 비디오를 일련의 이미지로 평탄화하여 독립적으로 토큰을 생성하거나 비디오 수준의 토큰화 도구를 사용합니다. 비디오 픽셀 볼륨을 효율적으로 처리하는 방법에는 여러 가지가 있습니다. 반드시 트랜스포머 백본이 필요한 것은 아니며, 예를 들어 SlowFast Network(https://arxiv.org/abs/1812.03982) 및 RubiksNet(https://stanfordvl.github.io/rubiksnet-site/, ECCV 2020에서 발표한 논문, 효율적인 CUDA 시프트 프리미티브)을 사용할 수도 있습니다.

(3) 언어: 옵티머스가 언어를 지원하는지 여부는 명확하지 않습니다. 만약 그렇다면 언어 표현을 인식에 "융합"할 수 있는 방법이 있어야 합니다. FiLM은 이러한 목적에 부합하는 매우 가벼운 신경망 모듈입니다(https://arxiv.org/abs/1709.07871).

직관적으로 이미지 처리 신경 경로에 언어의 '교차 주의'가 포함된다고 생각하면 됩니다.

(4) 액션 토큰화: 옵티머스는 자동 회귀 트랜스포머가 작동하기 위해 연속 동작 신호를 이산 토큰으로 변환해야 합니다. 몇 가지 방법이 있습니다:

- 각 손 관절 제어에 대한 연속값을 직접 구간차원으로 변환합니다. [0, 0.01) -> 토큰 #0, [0.01, 0.02) -> 토큰 #1 등입니다. 이 방법은 간단하지만 시퀀스 길이가 길기 때문에 비효율적일 수 있습니다.

- 관절 움직임은 서로에 대한 의존도가 높기 때문에 저차원의 "상태 공간"을 차지합니다. 모션 데이터에 VQVAE를 적용하면 길이가 짧고 압축된 토큰 세트를 얻을 수 있습니다.

(5) 위의 내용을 종합하면 비디오 토큰(선택 사항으로 언어 변조 포함)을 소비하고 액션 토큰을 한 번에 한 단계씩 출력하는 트랜스포머 컨트롤러가 생겼습니다. 테이블의 다음 프레임이 트랜스포머에 피드백되므로 트랜스포머는 동작의 결과를 알 수 있습니다. 이를 통해 데모에 표시된 자가 수정 기능이 제공됩니다.

아키텍처는 다음과 가장 유사하다고 생각합니다:

- 구글 RT-1: https://blog.research.google/2022/12/rt-1-robotics-transformer-for-real.html

- 엔비디아 비마:

https://vimalabs.github.io

VIMA | General Robot Manipulation with Multimodal PromptsVIMA | General Robot Manipulation with Multimodal Promptsvimalabs.github.io

3. 마지막으로 하드웨어 품질이 정말 인상적이었습니다. 모션이 유동적이고 미학적으로도 놀랍습니다. 위에서 언급했듯이 인간의 형태를 면밀히 따라가면서 인간을 모방하는 데 한 치의 오차도 없도록 한 것은 정말 대단한 결정입니다.

보스턴 다이내믹스의 아틀라스는 단순한 그립퍼 스타일의 손만 가지고 있습니다. 장기적으로 볼 때 옵티머스의 양손잡이 다섯 손가락 손은 일상적인 작업에서 훨씬 더 뛰어난 성능을 발휘할 것입니다.

https://twitter.com/DrJimFan/status/1705982525825503282

- dc official App

[📪정보] 엔비디아 연구원의 테슬라 옵티머스 분석

댓글 4

다른 게시글