대규모 언어 모델(LLM)을 명령 추종자로 효율적으로 변환하는 방법은 최근 인기 있는 연구 방향이지만 다중 모달 추론을 위한 LLM 교육은 아직 덜 연구되고 있습니다. 최신 LLaMA-Adapter는 LLM으로 시각적 입력을 처리할 수 있는 잠재력을 보여주지만 여전히 개방형 시각적 지침으로 일반화할 수 없으며 GPT-4보다 뒤처집니다. 본 논문에서는 매개변수 효율적인 시각적 명령 모델인 LLaMA-Adapter V2를 제시한다. 특히 어댑터 외에 전체 LLaMA 모델에 명령을 따르는 기능을 배포하는 보다 학습 가능한 매개변수(예: 규범, 바이어스 및 스케일)를 잠금 해제하여 먼저 LLaMA-Adapter를 보강합니다. 둘째, 시각적 토큰을 초기 LLM 계층에만 공급하여 더 나은 시각적 지식 통합에 기여하는 초기 융합 전략을 제안합니다. 셋째, 학습 가능한 매개변수의 분리된 그룹을 최적화하여 이미지-텍스트 쌍과 지침을 따르는 데이터의 공동 교육 패러다임이 도입되었습니다. 이 전략은 이미지-텍스트 정렬과 지침 따르기의 두 작업 간의 간섭을 효과적으로 완화하고 소규모 이미지-텍스트 및 지침 데이터 세트만으로 강력한 다중 모달 추론을 달성합니다. 추론하는 동안 추가 전문가 모델(예: 캡션/OCR 시스템)을 LLaMA-Adapter에 통합하여 교육 비용을 들이지 않고 이미지 이해 기능을 더욱 향상시킵니다. 원래 LLaMA-Adapter와 비교할 때 LLaMA-Adapter V2는 LLaMA에 14M 매개변수를 도입하기만 하면 개방형 다중 모달 명령을 수행할 수 있습니다. 새로 설계된 프레임워크는 언어 전용 지침을 따르는 기능이 더 강력하고 채팅 상호 작용에서도 뛰어납니다. 


https://arxiv.org/abs/2304.15010

LLaMA-Adapter V2: Parameter-Efficient Visual Instruction ModelHow to efficiently transform large language models (LLMs) into instruction followers is recently a popular research direction, while training LLM for multi-modal reasoning remains less explored. Although the recent LLaMA-Adapter demonstrates the potential to handle visual inputs with LLMs, it still cannot generalize well to open-ended visual instructions and lags behind GPT-4. In this paper, we present LLaMA-Adapter V2, a parameter-efficient visual instruction model. Specifically, we first augment LLaMA-Adapter by unlocking more learnable parameters (e.g., norm, bias and scale), which distribute the instruction-following ability across the entire LLaMA model besides adapters. Secondly, we propose an early fusion strategy to feed visual tokens only into the early LLM layers, contributing to better visual knowledge incorporation. Thirdly, a joint training paradigm of image-text pairs and instruction-following data is introduced by optimizing disjoint groups of learnable parameters. This strategy effectively alleviates the interference between the two tasks of image-text alignment and instruction following and achieves strong multi-modal reasoning with only a small-scale image-text and instruction dataset. During inference, we incorporate additional expert models (e.g. captioning/OCR systems) into LLaMA-Adapter to further enhance its image understanding capability without incurring training costs. Compared to the original LLaMA-Adapter, our LLaMA-Adapter V2 can perform open-ended multi-modal instructions by merely introducing 14M parameters over LLaMA. The newly designed framework also exhibits stronger language-only instruction-following capabilities and even excels in chat interactions. Our code and models are available at https://github.com/ZrrSkywalker/LLaMA-Adapter.arxiv.org