[📪정보] Neural feels with neural fields: Visuo-t

[특갤용(118wshxhtx5h)]

Latest AI news 2023/12/22 최신 AI 뉴스

Neural feels with neural fields: Visuo-tactile perception for in-hand manipulation신경 필드를 사용한 신경 감각: 손 안에서의 조작을 위한 시각-촉각 인식

CMU

FAIR

UC Berkeley

TU Dresden

CeTI

Abstract

To achieve human-level dexterity, robots must infer spatial awareness from multimodal sensing to reason over contact interactions. During in-hand manipulation of novel objects, such spatial awareness involves estimating the object's pose and shape. The status quo for in-hand perception primarily employs vision, and restricts to tracking a priori known objects. Moreover, visual occlusion of objects in-hand is imminent during manipulation, preventing current systems to push beyond tasks without occlusion. We combine vision and touch sensing on a multi-fingered hand to estimate an object's pose and shape during in-hand manipulation. Our method, NeuralFeels, encodes object geometry by learning a neural field online and jointly tracks it by optimizing a pose graph problem. We study multimodal in-hand perception in simulation and the real-world, interacting with different objects via a proprioception-driven policy. Our experiments show final reconstruction F-scores of 81% and average pose drifts of 4.7,mm, further reduced to 2.3,mm with known CAD models. Additionally, we observe that under heavy visual occlusion we can achieve up to 94% improvements in tracking compared to vision-only methods. Our results demonstrate that touch, at the very least, refines and, at the very best, disambiguates visual estimates during in-hand manipulation. We release our evaluation dataset of 70 experiments, FeelSight, as a step towards benchmarking in this domain. Our neural representation driven by multimodal sensing can serve as a perception backbone towards advancing robot dexterity. Videos can be found on our project website https://suddhu.github.io/neural-feels/

인간 수준의 민첩성을 달성하기 위해, 로봇은 다중모달 감지에서 공간 인식을 추론하여 접촉 상호작용을 이해해야 합니다. 새로운 물체를 손 안에서 조작하는 동안, 이러한 공간 인식은 물체의 자세와 형태를 추정하는 것을 포함합니다. 손 안에서의 인식에 대한 현 상태는 주로 시각을 활용하며, 사전에 알려진 물체를 추적하는 것에 제한됩니다. 또한, 조작 중 손 안의 물체에 대한 시각적 가려짐은 불가피하여, 현재 시스템이 가려짐이 없는 작업을 넘어서는 것을 방해합니다. 우리는 손 안에서 물체의 자세와 형태를 추정하기 위해 다중 손가락이 달린 손에 시각과 촉각 센싱을 결합합니다. 우리의 방법, NeuralFeels는 온라인에서 신경 필드를 학습하여 물체 기하학을 인코딩하고, 자세 그래프 문제를 최적화함으로써 이를 공동으로 추적합니다. 우리는 시뮬레이션과 실제 세계에서 다양한 물체와의 상호작용을 통해 다중모달 손 안 인식을 연구합니다. 우리의 실험은 최종 재구성 F-점수 81%와 평균 자세 편차 4.7mm를 보여주며, 알려진 CAD 모델로 2.3mm까지 줄어듭니다. 또한, 심각한 시각적 가려짐 하에서 우리는 시각-단독 방법에 비해 추적에서 최대 94% 개선을 달성할 수 있다는 것을 관찰했습니다. 우리의 결과는 촉각이 최소한 시각 추정을 정제하고, 최고의 경우에는 시각 추정을 명확히 하는 것을 보여줍니다. 우리는 이 분야에서 벤치마킹을 향한 단계로서 70개의 실험으로 구성된 평가 데이터셋, FeelSight를 공개합니다. 다중모달 감지에 의해 구동되는 우리의 신경 표현은 로봇 민첩성을 발전시키는 데 있어 인식의 기반이 될 수 있습니다.

3줄 요약

1. "NeuralFeels"는 다중 손가락이 달린 로봇 손에 시각과 촉각 센싱을 결합하여 손 안에서 물체의 자세와 형태를 추정하는 방법입니다. 

2. 이 시스템은 시각적 가려짐 상황에서도 효과적이며, 촉각은 시각 추정을 정제하거나 명확히 할 수 있음을 보여줍니다. 

3. "NeuralFeels"는 다양한 물체와의 상호작용을 통한 70개의 실험 데이터셋 "FeelSight"를 제공하며, 로봇 민첩성 향상에 기여할 수 있는 기술입니다.

https://arxiv.org/pdf/2312.13469.pdf

https://suddhu.github.io/neural-feels/

[디시콘발사대(fcbjsjmu1t9f)]

[익명(210.106)]

캬 내가 찾던 인간같은 반응속도 로봇 주딱 찬양해

[익명(beamblot)]

[익명(rechido)]