[📪정보] 다중 모달 자기회귀 모델: Unified-IO 2

Latest AI news 2023/12/29 최신 AI 뉴스

Unified-IO 2: Scaling Autoregressive Multimodal Models with Vision, Language, Audio, and Action
Unified-IO 2: 시각, 언어, 오디오, 행동을 포함한 자기회귀 다중 모달 모델 확장

Allen Institute for AI

University of Illinois Urbana-Champaign

University of Washington

3줄요약

1. "Unified-IO 2"는 이미지, 텍스트, 오디오, 행동을 이해하고 생성할 수 있는 최초의 자기회귀 다중 모달 모델입니다.

2. 다양한 모달리티를 통합하기 위해, 이 모델은 입력과 출력을 공유 의미 공간으로 토큰화하여 단일 인코더-디코더 트랜스포머 모델로 처리합니다.

3. "Unified-IO 2"는 GRIT 벤치마크에서 최고의 성능을 달성하고, 이미지 생성 및 이해, 자연어 이해, 비디오 및 오디오 이해, 로봇 조작 등 35개 이상의 벤치마크에서 강력한 결과를 보여줍니다.

Abstract

We present Unified-IO 2, the first autoregressive multimodal model that is capable of understanding and generating image, text, audio, and action. To unify different modalities, we tokenize inputs and outputs -- images, text, audio, action, bounding boxes, etc., into a shared semantic space and then process them with a single encoder-decoder transformer model. Since training with such diverse modalities is challenging, we propose various architectural improvements to stabilize model training. We train our model from scratch on a large multimodal pre-training corpus from diverse sources with a multimodal mixture of denoisers objective. To learn an expansive set of skills, such as following multimodal instructions, we construct and finetune on an ensemble of 120 datasets with prompts and augmentations. With a single unified model, Unified-IO 2 achieves state-of-the-art performance on the GRIT benchmark and strong results in more than 35 benchmarks, including image generation and understanding, natural language understanding, video and audio understanding, and robotic manipulation. We release all our models to the research community.

통합-IO 2는 이미지, 텍스트, 오디오, 행동을 이해하고 생성할 수 있는 최초의 자기회귀 다중 모달 모델입니다. 다양한 모달리티를 통합하기 위해, 이미지, 텍스트, 오디오, 행동, 바운딩 박스 등을 공유 의미 공간으로 토큰화한 후 단일 인코더-디코더 트랜스포머 모델로 처리합니다. 이렇게 다양한 모달리티로 훈련하는 것은 도전적이기 때문에, 우리는 모델 훈련을 안정화시키기 위한 여러 구조적 개선을 제안합니다. 우리는 다중 모달 노이즈 제거 목표를 가진 대규모 다중 모달 사전 훈련 코퍼스에서 처음부터 모델을 훈련합니다. 다중 모달 지시를 따르는 등의 광범위한 기술을 학습하기 위해, 우리는 프롬프트와 보강이 포함된 120개의 데이터셋 앙상블을 구축하고 미세 조정을 합니다. 단일 통합 모델로, 통합-IO 2는 GRIT 벤치마크에서 최고의 성능을 달성하고 이미지 생성 및 이해, 자연어 이해, 비디오 및 오디오 이해, 로봇 조작 등 35개 이상의 벤치마크에서 강력한 결과를 보여줍니다. 우리는 모든 모델을 연구 커뮤니티에 공개합니다.

24b0d121e09c28a8699fe8b115ef0468e3a8eabb63