7ce58802b4816af523ed8f93329c706e8ce8b0e09f0d7ad4b39f6035dfef3355d4e32ed73a12f978240ef88cbcc8a607abc8dbf3


(엔비디아 연구원이고, 로보틱스가 챗지피티처럼 혁신적인 순간이 오는게 3년정도 남았다고 보나봄. 밑은 해석)


2024년에 LLM 외에 가장 큰 것이 무엇인지 질문을 받았습니다. 로보틱스입니다. 기간. 물리적 AI 에이전트의 ChatGPT 시점이 3년 정도 남았습니다. 우리는 "인간이 쉽다고 생각하는 작업이 AI에게는 극도로 어렵고 그 반대도 마찬가지"라는 반직관적인 현상인 모라벡의 역설에 너무 오랫동안 저주를 받아왔습니다.

2024년은 AI 커뮤니티가 저주에 맞서 크게 맞서 싸우는 첫 해로 기억될 것입니다. 우리는 당장 승리하지는 못하겠지만 승리의 길을 걷게 될 것입니다.

2023년, 우리는 로봇의 미래 기반 모델과 플랫폼을 엿볼 수 있었습니다.
- 물리적 I/O 장치로 로봇 팔을 갖춘 다중 모드 LLM: VIMA, PerAct, RvT (NVIDIA), RT-1, RT-2, PaLM-E (Google), RoboCat (DeepMind), Octo (Berkeley, Stanford, CMU ), 등.
- 시스템 1 상위 수준 추론(LLM)과 시스템 2 하위 수준 제어 간의 격차를 해소하는 알고리즘: Eureka (NVIDIA), Code as Policies (Google) 등
- 견고한 하드웨어의 엄청난 발전: Tesla Optimus @elonmusk , Figure @adcock_brett , 1X @ericjang11 , Apptronik, Sanctuary, Agility+Amazon, Unitree 등
- 데이터는 언제나 로봇공학의 아킬레스건이었습니다. 연구 커뮤니티는 Open X-Embodiment (RT- X) 데이터 세트와 같은 다음 ImageNet을 관리하기 위해 함께 모이고 있습니다. 아직 충분히 다양하지는 않지만 초기 단계는 중요한 단계입니다.
- 시뮬레이션 및 합성 데이터는 로봇의 민첩성과 심지어 컴퓨터 비전 전반을 해결하는 데 중요한 역할을 합니다.
(1) NVIDIA Isaac은 실시간보다 1000배 빠르게 현실을 시뮬레이션할 수 있습니다. 들어오는 데이터 스트림은 컴퓨팅 규모에 따라 확장됩니다.
(2) 하드웨어 가속 레이트레이싱을 통해 포토리얼리즘을 구현할 수 있습니다. 사실적인 렌더링에는 분할, 깊이, 3D 포즈 등과 같은 실측 주석도 무료로 제공됩니다.
(3) 시뮬레이터는 실제 데이터를 늘려 훨씬 더 큰 데이터 세트를 생성할 수 있으므로 사람이 수행하는 데 드는 비용이 크게 줄어듭니다. MimicGen (NVIDIA)이 대표적인 예입니다.

나는 개인적으로 모든 것을 다하고 있습니다. 최고의 순간은 아직 오지 않았습니다.