[📪정보] 모바일용 고효율 비전 언어 모델 MobileVLM

Latest AI news 2023/12/29 최신 AI 뉴스MobileVLM : A Fast, Reproducible and Strong Vision Language Assistant for Mobile Devices
MobileVLM : 모바일 기기를 위한 빠르고, 재현 가능하며 강력한 시각 언어 보조기

Meituan Inc

Zhejiang University, China

Dalian University of Technology, China

3줄요약

MobileVLM은 모바일 기기에서 실행되도록 설계된 다중모달 비전 언어 모델로, 1.4B 및 2.7B 매개변수 규모의 언어 모델들과 CLIP 방식으로 사전 훈련된 다중모달 비전 모델을 통합하였습니다.
모델은 여러 VLM 벤치마크에서 평가되었으며, 큰 모델들과 비교하여 동등한 성능을 보였으며, Qualcomm Snapdragon 888 CPU와 NVIDIA Jeston Orin GPU에서 높은 추론 속도를 달성했습니다.
이 연구의 코드는 GitHub에서 공개될 예정이며, 이를 통해 모바일 기기를 위한 강력하고 효율적인 비전 언어 보조 기능을 제공합니다.

Abstract

We present MobileVLM, a competent multimodal vision language model (MMVLM) targeted to run on mobile devices. It is an amalgamation of a myriad of architectural designs and techniques that are mobile-oriented, which comprises a set of language models at the scale of 1.4B and 2.7B parameters, trained from scratch, a multimodal vision model that is pre-trained in the CLIP fashion, cross-modality interaction via an efficient projector. We evaluate MobileVLM on several typical VLM benchmarks. Our models demonstrate on par performance compared with a few much larger models. More importantly, we measure the inference speed on both a Qualcomm Snapdragon 888 CPU and an NVIDIA Jeston Orin GPU, and we obtain state-of-the-art performance of 21.5 tokens and 65.3 tokens per second, respectively.

우리는 모바일 기기에서 실행되도록 설계된 유능한 다중모달 비전 언어 모델(MMVLM)인 MobileVLM을 소개합니다. 이것은 1.4B 및 2.7B 매개변수 규모의 언어 모델들로 구성된 모바일 중심의 다양한 건축 설계 및 기술들의 결합체이며, 이 모델들은 처음부터 훈련되었고, CLIP 방식으로 사전 훈련된 다중모달 비전 모델, 효율적인 프로젝터를 통한 교차 모달 상호작용을 포함합니다. 우리는 MobileVLM을 여러 전형적인 VLM 벤치마크에서 평가합니다. 우리의 모델들은 몇몇 훨씬 큰 모델들과 비교하여 동등한 성능을 보여줍니다. 더 중요한 것은, 우리는 Qualcomm Snapdragon 888 CPU와 NVIDIA Jeston Orin GPU에서 추론 속도를 측정하며, 각각 초당 21.5 토큰 및 65.3 토큰의 최첨단 성능을 달성했습니다.

24b0d121e09c28a8699fe8b115ef046b696a95342a