[📪정보] NExT-GPT: 모든 양식의 멀티모달 LLM

[익명(125.191)]

https://huggingface.co/papers/2309.05519

Paper page - NExT-GPT: Any-to-Any Multimodal LLM

최근 다중모달 대규모 언어 모델(MM-LLM)이 비약적인 발전을 이루었지만, 대부분 입력 측 다중모달 이해만 가능하고 여러 모달리티로 콘텐츠를 생성할 수 없다는 한계에 부딪힙니다. 인간은 항상 다양한 방식을 통해 세상을 인식하고 사람들과 소통하기 때문에 모든 방식의 콘텐츠를 수용하고 전달할 수 있는 애니투애니 MM-LLM을 개발하는 것은 인간 수준의 AI를 구현하는 데 필수적입니다. 이러한 간극을 메우기 위해 유니티는 엔드투엔드 범용 애니투애니 MM-LLM 시스템인 NExT-GPT를 선보입니다. 유니티는 멀티모달 어댑터 및 다양한 확산 디코더와 LLM을 연결하여 NExT-GPT가 입력을 인식하고 텍스트, 이미지, 비디오, 오디오의 임의 조합으로 출력을 생성할 수 있도록 지원합니다. 기존의 잘 훈련된 고성능 인코더와 디코더를 활용하여 특정 프로젝션 레이어의 소량(1%)의 파라미터만으로 NExT-GPT를 튜닝할 수 있으므로 저비용으로 훈련할 수 있을 뿐만 아니라 더 많은 잠재적 모달리티로 편리하게 확장할 수 있습니다. 또한 모달리티 전환 인스트럭션 튜닝(MosIT)을 도입하고, 이를 기반으로 NExT-GPT가 복잡한 교차 모달 의미 이해 및 콘텐츠 생성 기능을 강화할 수 있도록 고품질 데이터 세트를 수동으로 큐레이팅합니다. 전반적으로 이번 연구는 보편적인 모달리티를 모델링할 수 있는 AI 에이전트를 구축할 수 있는 유망한 가능성을 보여줌으로써 커뮤니티에서 보다 인간과 유사한 AI 연구를 위한 토대를 마련했습니다.

[익명(rechido)]