[📪정보] 3초짜리 녹음 파일로 600개 언어 복제하는 '옴니보이스' 오픈 출시

[회색(counsel8318)]

다국어 음성 합성 기술의 한계를 넘기 위한 새로운 접근으로, 600개 이상의 언어를 지원하는 초대형 텍스트 음성 변환(TTS) 모델이 공개됐다.

샤오미는 최근 온라인 아카이브를 통해 오픈소스 TTS 모델 ‘옴니보이스(OmniVoice)’를 공개했다.

기존 TTS 모델들이 영어 등 일부 고자원 언어에 집중됐던 한계를 넘어, 언어 다양성과 접근성을 크게 확장했다고 전했다.

핵심은 확산 언어 모델(Diffusion Language Model) 개념을 음성 합성에 적용한 비자기회귀(non-autoregressive) 아키텍처다. 기존 TTS 시스템은 텍스트를 의미 단위로 변환한 뒤 다시 음향 신호로 바꾸는 2단계 파이프라인을 거쳐야 했지만, 옴니보이스는 이러한 과정을 생략하고 텍스트를 곧바로 음향 토큰으로 변환한다. 이를 통해 구조를 단순화하면서도 성능 저하 없이 고품질 음성을 생성할 수 있도록 했다.

이를 위해 ‘전체 코드북 랜덤 마스킹’ 방식으로 학습 속도를 높이고 결과 음성의 품질도 개선했다. 또 사전 학습한 대형언어모델(LLM)의 가중치를 초기값으로 활용해, 모델이 언어에 대한 이해를 처음부터 갖도록 했다. 덕분에 단순한 구조에서도 또렷하고 이해하기 쉬운 음성을 만들어낼 수 있다는 설명이다.

출처 : AI타임스(https://www.aitimes.com)

샤오미, 3초짜리 녹음 파일로 600개 언어 복제하는 '옴니보이스' 오픈 출시 - AI타임스

쩐다.

[일본에간대학원생(math4457)]

[천사다천사(jjtheman999)]

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[익명(gulf3782)]

속도는 어떰?

[익명(move9699)]

[박노이호(round4494)]

ㅇㅂ "SPEND MONEY"