[📪정보] M3DBench: Let's Instruct Large Models wi

[특갤용(118wshxhtx5h)]

M3DBench: Let's Instruct Large Models with Multi-modal 3D Prompts

Abstract 

Recently, 3D understanding has become popular to facilitate autonomous agents to perform further decisionmaking. However, existing 3D datasets and methods are often limited to specific tasks. On the other hand, recent progress in Large Language Models (LLMs) and Multimodal Language Models (MLMs) have demonstrated exceptional general language and imagery tasking performance. Therefore, it is interesting to unlock MLM's potential to be 3D generalist for wider tasks. However, current MLMs' research has been less focused on 3D tasks due to a lack of large-scale 3D instruction-following datasets. In this work, we introduce a comprehensive 3D instructionfollowing dataset called M3DBench, which possesses the following characteristics: 1) It supports general multimodal instructions interleaved with text, images, 3D objects, and other visual prompts. 2) It unifies diverse 3D tasks at both region and scene levels, covering a variety of fundamental abilities in real-world 3D environments. 3) It is a large-scale 3D instruction-following dataset with over 320k instruction-response pairs. Furthermore, we establish a new benchmark for assessing the performance of large models in understanding multi-modal 3D prompts. Extensive experiments demonstrate the effectiveness of our dataset and baseline, supporting general 3D-centric tasks, which can inspire future research.

최근에는 자율 에이전트가 더 많은 의사결정을 수행하도록 돕기 위해 3D 이해가 인기를 끌고 있습니다. 그러나 기존의 3D 데이터셋과 방법들은 종종 특정 작업에 한정되어 있습니다. 반면에 최근 대규모 언어 모델(LLM)과 다중모달 언어 모델(MLM)의 진보는 일반 언어 및 이미지 작업 수행에서 뛰어난 성능을 보여주었습니다. 따라서, 다양한 작업에 대한 3D 전문가로서 MLM의 잠재력을 개방하는 것이 흥미롭습니다. 그러나 현재의 MLM 연구는 대규모 3D 지시 따르기 데이터셋이 부족하여 3D 작업에 덜 집중되어 왔습니다. 본 연구에서는 M3DBench라는 종합적인 3D 지시 따르기 데이터셋을 소개합니다. 이 데이터셋은 다음과 같은 특징을 가지고 있습니다: 1) 텍스트, 이미지, 3D 객체 및 기타 시각적 프롬프트가 얽혀 있는 일반적인 다중모달 지시를 지원합니다. 2) 지역 및 장면 수준에서 다양한 3D 작업을 통합하여 실제 세계 3D 환경에서의 기본 능력을 다룹니다. 3) 32만개 이상의 지시-응답 쌍을 포함하는 대규모 3D 지시 따르기 데이터셋입니다. 또한, 다중모달 3D 프롬프트를 이해하는 대규모 모델의 성능을 평가하는 새로운 벤치마크를 설정합니다. 광범위한 실험은 우리의 데이터셋과 베이스라인의 효과를 입증하며, 일반적인 3D 중심 작업을 지원하며 향후 연구에 영감을 줄 수 있습니다.

https://arxiv.org/abs/2312.10763

[익명(landofooo)]

anything to anything