음성과 소리를 동시에 이해하는 멀티모달 모델 공개사람의 음성이나 소리, 음악과 같은 다양한 오디오 입력을 듣고 이해하고 추론할 수 있는 인공지능(AI) 시스템이 등장했다. 기존 음성을 텍스트로 전환하는 STT(음성 텍스트 전환) 방식을 넘어, 다양한 유형의 오디오를 동시에 학습하고 이해할 수 있는 '오디오 전문' 멀티모달 아키텍처를 실현했다는 점에서 주목된다.벤처비트는 24일(현지시간) 중국 칭화대학교와 바이트댄스 연구진이 음성, 소리, 음악과 같은 오디오 입력을 이해하고 추론할 수 있는 대형언어모델(LLM) ‘새몬(SALMONN)'에 관한 논문을 온라인 아카이브(arXiv)에www.aitimes.com



https://www.aitimes.com/news/articleView.html?idxno=154659