[📪정보] 효율적인 다중 모달 언어 모델 TinyGPT-V

Latest AI news 2023/12/29 최신 AI 뉴스

TinyGPT-V: Efficient Multimodal Large Language Model via Small Backbones

TinyGPT-V: 소형 백본을 통한 효율적인 다중 모달 대규모 언어 모델

Anhui Polytechnic University

Nanyang Technological University

Lehigh University

3줄요약

1. TinyGPT-V는 다중 모달 대규모 언어 모델로서, 대용량 GPU가 아닌 24G GPU에서 훈련 가능하고, 8G GPU 또는 CPU에서 추론이 가능한 효율적인 모델입니다.

2. 이 모델은 Phi-2 언어 모델을 기반으로 하며, BLIP-2 또는 CLIP에서 사전 훈련된 시각 모듈을 통합하여 언어 및 시각 처리 능력을 강화합니다.

3. TinyGPT-V는 2.8B 파라미터를 가지며, 다양한 장치에서 로컬 배포 및 추론 작업에 적합하게 설계되었으며, 다양한 실제 시나리오에서의 응용 가능성을 확장합니다.

Abstract

In the era of advanced multimodel learning, multimodal large language models (MLLMs) such as GPT-4V have made remarkable strides towards bridging language and visual elements. However, the closed-source nature and considerable computational demand present notable challenges for universal usage and modifications. This is where open-source MLLMs like LLaVA and MiniGPT-4 come in, presenting groundbreaking achievements across tasks. Despite these accomplishments, computational efficiency remains an unresolved issue, as these models, like LLaVA-v1.5-13B, require substantial resources. Addressing these issues, we introduce TinyGPT-V, a new-wave model marrying impressive performance with commonplace computational capacity. It stands out by requiring merely a 24G GPU for training and an 8G GPU or CPU for inference. Built upon Phi-2, TinyGPT-V couples an effective language backbone with pre-trained vision modules from BLIP-2 or CLIP. TinyGPT-V's 2.8B parameters can undergo a unique quantisation process, suitable for local deployment and inference tasks on 8G various devices. Our work fosters further developments for designing cost-effective, efficient, and high-performing MLLMs, expanding their applicability in a broad array of real-world scenarios. Furthermore this paper proposed a new paradigm of Multimodal Large Language Model via small backbones.

고급 멀티모델 학습 시대에서, GPT-4V와 같은 다중 모달 대규모 언어 모델(MLLMs)은 언어와 시각 요소를 연결하는 데 있어 주목할 만한 발전을 이루었습니다. 그러나 폐쇄 소스 성격과 상당한 컴퓨팅 요구는 보편적 사용과 수정에 있어 주요한 도전으로 남아 있습니다. 이러한 문제를 해결하기 위해, 오픈 소스 MLLMs인 LLaVA와 MiniGPT-4가 등장하여 다양한 작업에서 혁신적인 성과를 보여주고 있습니다. 이러한 성취에도 불구하고, LLaVA-v1.5-13B와 같은 모델들은 여전히 상당한 자원을 필요로 하며, 컴퓨팅 효율성은 해결되지 않은 문제로 남아 있습니다. 이러한 문제들을 해결하기 위해, 우리는 일반적인 컴퓨팅 용량을 갖춘 인상적인 성능을 제공하는 새로운 모델 TinyGPT-V를 소개합니다. 이 모델은 훈련을 위해 단지 24G GPU가 필요하고 추론을 위해 8G GPU 또는 CPU만 요구하는 것이 특징입니다. Phi-2에 기반을 둔 TinyGPT-V는 효과적인 언어 기반과 BLIP-2 또는 CLIP에서 사전 훈련된 시각 모듈을 결합합니다. TinyGPT-V의 28억 개 파라미터는 다양한 8G 장치에서 로컬 배포 및 추론 작업에 적합한 독특한 양자화 과정을 거칠 수 있습니다. 우리의 연구는 비용 효율적이고 효율적이며 고성능인 MLLMs를 설계하는 데 있어 추가적인 발전을 촉진하며, 실제 시나리오에서의 광범위한 적용 가능성을 확장합니다. 더 나아가 이 논문은 소형 백본을 통한 다중 모달 대규모 언어 모델의 새로운 패러다임을 제안합니다.

24b0d121e09c28a8699fe8b115ef046c60f5284694