[📪정보] Generative Multimodal Models are In-Cont

[특갤용(118wshxhtx5h)]

Generative Multimodal Models are In-Context Learners

Beijing Academy of Artificial Intelligence

Tsinghua University

Peking University

Abstract 

The human ability to easily solve multimodal tasks in context (i.e., with only a few demonstrations or simple instructions), is what current multimodal systems have largely struggled to imitate. In this work, we demonstrate that the task-agnostic in-context learning capabilities of large multimodal models can be significantly enhanced by effective scaling-up. We introduce Emu2, a generative multimodal model with 37 billion parameters, trained on large-scale multimodal sequences with a unified autoregressive objective. Emu2 exhibits strong multimodal in-context learning abilities, even emerging to solve tasks that require on-the-fly reasoning, such as visual prompting and object-grounded generation. The model sets a new record on multiple multimodal understanding tasks in few-shot settings. When instruction-tuned to follow specific instructions, Emu2 further achieves new state-of-the-art on challenging tasks such as question answering benchmarks for large multimodal models and open-ended subject-driven generation. These achievements demonstrate that Emu2 can serve as a base model and general-purpose interface for a wide range of multimodal tasks. Code and models are publicly available to facilitate future research.

현재 다양한 모달 시스템들이 주로 모방하는 데 어려움을 겪고 있는 것은 인간이 문맥 속에서 적은 수의 시범이나 간단한 지시만으로 다양한 모달 작업을 쉽게 해결하는 능력입니다. 이 연구에서, 우리는 큰 규모의 다모달 모델의 맥락 내에서의 과제-무관 학습 능력이 효과적인 확장을 통해 크게 향상될 수 있음을 보여줍니다. 우리는 통합 자동 회귀 목표를 가진 대규모 다모달 시퀀스로 훈련된 370억 개의 매개변수를 가진 생성적 다모달 모델인 Emu2를 소개합니다. Emu2는 강력한 다모달 맥락 내 학습 능력을 보여주며, 시각적 프롬프팅 및 객체 기반 생성과 같이 즉석 추론이 필요한 과제를 해결하는 데에도 나타납니다. 이 모델은 몇 개의 예제 설정에서 다양한 다모달 이해 과제에 새로운 기록을 세웁니다. 특정 지시를 따르도록 지시 튜닝되었을 때, Emu2는 대규모 다모달 모델과 개방형 주제 기반 생성을 위한 질문 대답 벤치마크와 같은 도전적인 과제에서 새로운 최고 기록을 달성합니다. 이 성과들은 Emu2가 다양한 다모달 과제에 대한 베이스 모델 및 일반적인 인터페이스로서 기능할 수 있음을 보여줍니다. 코드 및 모델은 향후 연구를 촉진하기 위해 공개적으로 이용 가능합니다.

https://arxiv.org/abs/2312.13286

[익명(rechido)]

[MoonChild(aowlr2001)]