[📪정보] 현실 세계의 대화형 시뮬레이터 UniSim 발표

[익명(asdf045)]

인터넷 데이터를 기반으로 훈련된 생성 모델은 텍스트, 이미지 및 비디오 콘텐츠를 생성하는 방법에 혁명을 일으켰습니다. 아마도 생성 모델의 다음 이정표는 인간, 로봇 및 기타 유형의 대화형 에이전트가 수행하는 작업에 대한 현실적인 경험을 시뮬레이션하는 것입니다. 실제 시뮬레이터의 적용 범위는 게임 및 영화에서 제어 가능한 콘텐츠 생성부터 실제 세계에 직접 배포할 수 있는 시뮬레이션을 통해 구현된 에이전트를 교육하는 것까지 다양합니다. 이 작업에서 우리는 생성 모델링을 통해 실제 상호 작용에 대한 범용 시뮬레이터(UniSim)를 학습하는 것과 관련된 이러한 가능성을 탐구합니다. 우리는 먼저 실제 시뮬레이터를 학습하는 데 사용할 수 있는 자연 데이터 세트가 종종 다양한 축을 따라 풍부하다는 중요한 관찰을 합니다(예: 이미지 데이터의 풍부한 레이블이 지정된 개체, 로봇 공학 데이터의 풍부한 동작, 내비게이션 데이터의 풍부한 움직임). UniSim은 각각 전체 경험의 서로 다른 측면을 제공하는 다양한 데이터 세트를 신중하게 조정하여 "서랍 열기"와 같은 상위 수준 명령과 하위 수준 명령의 시각적 결과를 시뮬레이션하여 인간과 에이전트가 세계와 상호 작용하는 방식을 에뮬레이트할 수 있습니다. 정적 장면 및 개체에서 "x, y 위치로 이동"과 같은 컨트롤. 이러한 실제 시뮬레이터의 사용 사례는 방대합니다. 예를 들어, 우리는 UniSim을 사용하여 높은 수준의 비전 언어 계획자와 낮은 수준의 강화 학습 정책을 모두 교육하기 위한 대화형 경험을 시뮬레이션합니다. 각 정책은 시뮬레이터와 같은 실제 세계에서의 순수 교육에서 중요한 실제 전송을 보여줍니다.

https://twitter.com/mengjiao_yang/status/1712153304757915925

- dc official App

[달나라로켓(skflzlaqjffl)]

[부패하는유전자!!!(sansss2015)]

[익명(koohj7266)]

이게 인공지능 영상이라고? - dc App

[익명(rechido)]