[📪정보] 구글 말하고 들을 수 있는 대규모 언어 모델 AudioPaLM 공개

[익명(asdf045)]

https://huggingface.co/papers/2306.12925

Paper page - AudioPaLM: A Large Language Model That Can Speak and Listen

음성 이해 및 생성을 위한 대규모 언어 모델인 AudioPaLM을 소개합니다. AudioPaLM은 텍스트 기반 및 음성 기반 언어 모델인 PaLM-2[Anil et al., 2023] 및 AudioLM[Borsos et al., 2022]을 다음과 같은 응용 프로그램으로 텍스트 및 음성을 처리하고 생성할 수 있는 통합 다중 모드 아키텍처로 융합합니다. 음성 인식 및 음성 대 음성 번역. AudioPaLM은 AudioLM의 화자 신원 및 억양과 같은 준언어 정보와 PaLM-2와 같은 텍스트 대형 언어 모델에만 존재하는 언어 지식을 보존하는 기능을 상속합니다. 우리는 텍스트 전용 대규모 언어 모델의 가중치로 AudioPaLM을 초기화하면 음성 처리를 개선하여 음성 작업을 지원하기 위해 사전 훈련에 사용되는 더 많은 양의 텍스트 훈련 데이터를 성공적으로 활용한다는 것을 보여줍니다. 결과 모델은 음성 번역 작업을 위한 기존 시스템을 훨씬 능가하며 교육에서 입력/대상 언어 조합이 표시되지 않는 많은 언어에 대해 제로샷 음성-텍스트 번역을 수행할 수 있습니다. AudioPaLM은 또한 짧은 음성 프롬프트를 기반으로 언어 간에 음성을 전송하는 것과 같은 오디오 언어 모델의 기능을 보여줍니다.

- dc official App

[익명(landofooo)]

후...... 싹다 더 공개시켜.

[익명(211.178)]

혹시 겨우 음성 -> 텍스트 -> 번역본 텍스트 생성 -> 같은 목소리로 번역본 음성 생성 으로 끝인건가? 이럼 그냥 일반인이 API 끌어다가 기능 조립한거랑 다를 바가 없는데

[ㅇㅋ(ijh2005)]

확실히 후달리긴하네 치타는 늙어버렸다.

[ㅇㅋ(ijh2005)]

생각보다도 GPT-4따라하는게 쉬운일이 아닌가봄