[📪정보] 일반화 가능한 신경 특징 필드를 사용한 멀티태스크 실제 로봇 학습

[익명(asdf045)]

로봇 공학 분야에서 오랜 기간 동안 해결되지 못한 문제 중 하나는 비구조적인 실제 환경에서 시각적 관측을 통해 다양한 조작 작업을 수행할 수 있는 에이전트를 개발하는 것입니다. 이 목표를 달성하기 위해서는 로봇이 장면의 3D 구조와 의미론적 이해를 종합적으로 갖추어야 합니다. 본 연구에서는 Generalizable Neural feature Fields를 활용한 다중 작업 로봇 조작을 위한 시각적 행동 복제 에이전트인 GNFactor를 제안합니다. GNFactor는 일반화 가능한 신경 필드 (GNF)를 재구성 모듈로, 그리고 결정 모듈로서 Perceiver Transformer를 공유 깊은 3D 복셀 표현을 활용하여 함께 최적화합니다. 3D에서 의미론을 통합하기 위해 재구성 모듈은 비전-언어 기반 모델 (예: Stable Diffusion과 같은)을 활용하여 풍부한 의미 정보를 깊은 3D 복셀로 추출합니다. GNFactor를 실제 로봇 작업 3개에서 평가하고, 한정된 데모 수로 10개의 RLBench 작업에 대한 자세한 실험을 수행했습니다. 본 연구에서는 GNFactor가 본 보고서에 표시되지 않은 작업에서도 강력한 일반화 능력을 보여 현재의 최첨단 방법에 비해 큰 개선을 보여줍니다

https://huggingface.co/papers/2308.16891

Paper page - GNFactor: Multi-Task Real Robot Learning with Generalizable Neural Feature Fields

- dc official App

[Astera(onlyforsingularity)]

오..어케햇노