[📪정보] 효율적이고 확장 가능한 모든 모달리티 증강 언어모델

[익명(125.191)]

https://arxiv.org/abs/2309.16058

Any-Modality Augmented Language Model (AnyMAL)은 다양한 입력 모달리티 신호(텍스트, 이미지, 비디오, 오디오, IMU 모션 센서)를 이해하고 텍스트 응답을 생성하는 통합 모델을 제시한다.

최고의 모델은 다양한 항목에 대한 자동 및 인간 평가 모두에서 강력한 제로샷 성능을 달성합니다. 

문헌에서 사용 가능한 모델과 비교했을 때 VQAv2에서 +7.0% 상대 정확도 개선, 제로샷 COCO 이미지 캡션에서 +8.4% CIDEr, AudioCaps에서 +14.5% CIDEr로 새로운 SOTA를 설정했습니다.

[익명(222.108)]

메타는 닥 호감이야