캐릭터 동작, 대화형 3D 화면, 얼굴 애니메이션 등을 생성할 수 있다. 일반적인 비디오 생성 모델처럼 픽셀의 통계적 모양으로 형체를 만드는 대신, 물리적 시뮬레이션으로 세계를 구성하므로 더욱 사실적인 3D 영상을 만들어낸다.

기본 물리엔진과 시뮬레이션 플랫폼이 먼저 오픈소스로 공유됐고, 생성 프레임워크는 추후 출시될 예정이다.

제네시스 논문 공동저자인 짐 팬은 X에서 “단일 GPU로 로봇이 1시간 만에 10년 치 훈련 경험을 얻을 수 있다”며 

“네오가 매트릭스에서 눈깜짝할 사이에 무술을 배운 방법”이라고 설명했다.


생성 모델의 장점, 이제 실제 물리학으로 구현됩니다!

20개 이상의 연구실이 참여한 24개월간의 대규모 연구 협력 끝에, 범용 로봇 공학 및 물리적 AI 응용 분야를 위한 물리 시뮬레이션 플랫폼 기반의 4D 동적 세계 생성 엔진을 공개합니다.

이 물리 엔진은 순수 Python으로 개발되었으며, Isaac Gym 및 MJX와 같은 기존 GPU 가속 스택보다 10~80배 빠른 속도를 자랑합니다. 실시간보다 약 43만 배 빠른 시뮬레이션 속도를 제공하며, 단일 RTX4090에서 실제 세계로 전이 가능한 로봇 이동 정책을 훈련하는 데 단 26초밖에 걸리지 않습니다. (튜토리얼 참조)

이 물리 엔진 및 시뮬레이션 플랫폼은 https://github.com/Genesis-Embodied-AI/Genesis 에서 완전한 오픈 소스로 제공됩니다. 생성 프레임워크에 대한 접근 권한은 가까운 시일 내에 점진적으로 확대될 예정입니다.

최첨단 물리 솔버를 통합하여 처음부터 구축된 통합 시뮬레이션 프레임워크를 통해 가상 환경에서 실제와 가장 가까운 물리 세계를 시뮬레이션할 수 있도록 합니다.

저희는 상위 수준의 생성 프레임워크를 활용하여 물리적 세계를 자율적으로 생성하는 범용 데이터 엔진을 구축하고자 합니다. 여기에는 환경, 카메라 움직임, 로봇 작업 제안, 보상 함수, 로봇 정책, 캐릭터 움직임, 완전한 상호작용이 가능한 3D 장면, 오픈 월드 관절형 자산 등 다양한 형태의 데이터가 포함됩니다. 궁극적으로 로봇 공학, 물리적 AI 및 기타 응용 분야를 위한 완전 자동화된 데이터 생성을 목표로 합니다.

프로젝트 웹페이지: https://genesis-embodied-ai.github.io




Nvidia는 GPU 가속을 로봇 시뮬레이션에 도입하여 CPU 기반 시뮬레이션 대비 시뮬레이션 속도를 10배 이상 향상시켰습니다. 이는 대규모 GPU 병렬화 시뮬레이션을 활용하여 수많은 놀라운 로봇 기술을 현실화했습니다. 저희는 여기서 한 단계 더 나아가 속도를 10배 더 끌어올렸습니다. 주목할 점은 이러한 속도 향상이 시뮬레이션 정확도의 손실 없이 달성되었다는 것입니다.




저희는 다양한 물리적 현상 시뮬레이션을 지원합니다. 다양한 최첨단 물리 솔버(MPM, SPH, FEM, 강체, PBD 등)를 통합한 통합 물리 엔진을 처음부터 개발하여 강체, 관절체, 천, 액체, 연기, 변형체, 박막 재료, 탄성/소성체, 로봇 근육 등 광범위한 재료 시뮬레이션을 지원합니다.