[📪정보] 메타:audiocraft 구글 MusicLM을 뛰어넘었다

29ec817ee78568a439ed8fed4785756b112a38d2cdcd8430296e6b2464f8275cb02633b835c07bb880ea5b328f00c7fcf131126635ae71ceb372a78f7863d1d250a5502fea99eb125d0cbff4a99e98d2

구글에서 만들고 있는 text-to-music 모델인 MusicLM

본 연구에서는 "왜곡된 기타 리프가 뒷받침된 차분한 바이올린 멜로디"와 같은 텍스트 설명으로부터 고음질의 음악을 생성하는 MusicLM 모델을 제안합니다. MusicLM은 조건부 음악 생성 과정을 계층적인 시퀀스-투-시퀀스 모델링 과제로 취급하며, 몇 분에 걸쳐 일관된 24 kHz 음악을 생성합니다. 실험 결과, MusicLM은 이전 시스템들과 비교하여 오디오 품질과 텍스트 설명과의 일치도 측면에서 우수한 성능을 보여줍니다. 더불어, MusicLM은 텍스트와 멜로디 둘 다를 조건으로 사용할 수 있으며, 텍스트 캡션에 기술된 스타일에 따라 휘파람이나 험난한 멜로디를 변형할 수 있음을 실험적으로 입증합니다. 미래의 연구를 지원하기 위해, 우리는 인간 전문가에 의해 제공된 풍부한 텍스트 설명을 포함한 5.5k개의 음악-텍스트 쌍으로 구성된 MusicCaps 데이터셋을 공개적으로 배포합니다.

Meta의 audiocraft

https://arxiv.org/abs/2306.05284

Simple and Controllable Music GenerationWe tackle the task of conditional music generation. We introduce MusicGen, a single Language Model (LM) that operates over several streams of compressed discrete music representation, i.e., tokens. Unlike prior work, MusicGen is comprised of a single-stage transformer LM together with efficient token interleaving patterns, which eliminates the need for cascading several models, e.g., hierarchically or upsampling. Following this approach, we demonstrate how MusicGen can generate high-quality samples, while being conditioned on textual description or melodic features, allowing better controls over the generated output. We conduct extensive empirical evaluation, considering both automatic and human studies, showing the proposed approach is superior to the evaluated baselines on a standard text-to-music benchmark. Through ablation studies, we shed light over the importance of each of the components comprising MusicGen. Music samples, code, and models are available at https://github.com/facebookresearch/audiocraft.arxiv.org

조건부 음악 생성이라는 과제를 해결합니다. 압축된 이산 음악 표현, 즉 토큰의 여러 스트림에서 작동하는 단일 언어 모델(LM)인 MusicGen을 소개합니다. 이전 작업과 달리 MusicGen은 효율적인 토큰 인터리빙 패턴과 함께 단일 단계 트랜스포머 LM으로 구성되므로 계층적 또는 업샘플링과 같은 여러 모델을 캐스케이딩할 필요가 없습니다. 이러한 접근 방식에 따라, 뮤직젠이 텍스트 설명이나 멜로디 특징에 따라 고품질 샘플을 생성하는 동시에 생성된 출력을 더 잘 제어할 수 있는 방법을 시연합니다. 자동 및 인간 연구를 모두 고려한 광범위한 경험적 평가를 수행하여 제안된 접근 방식이 표준 텍스트-음악 벤치마크에서 평가된 기준선보다 우수하다는 것을 보여줍니다. 절제 연구를 통해 뮤직젠을 구성하는 각 구성 요소의 중요성을 조명합니다. 음악 샘플, 코드 및 모델은 다음 링크에서 확인할 수 있습니다.

메타가 github에 업데이트한 음악 생성 AI입니다.

https://github.com/facebookresearch/audiocraft

GitHub - facebookresearch/audiocraft: Audiocraft is a library for audio processing and generation with deep learning. It features the state-of-the-art EnCodec audio compressor / tokenizer, along with MusicGen, a simple and controllable music generation LM with textual and melodic conditioning.Audiocraft is a library for audio processing and generation with deep learning. It features the state-of-the-art EnCodec audio compressor / tokenizer, along with MusicGen, a simple and controllable...github.com

오디오 크래프트는 오디오 생성에 대한 딥 러닝 연구를 위한 PyTorch 라이브러리입니다. 현재 이 라이브러리에는 제어 가능한 최첨단 텍스트-음악 변환 모델인 MusicGen의 코드가 포함되어 있습니다.

오디오크래프트는 음악 생성을 위한 간단하고 제어 가능한 모델인 MusicGen을 위한 코드와 모델을 제공합니다. MusicGen은 50Hz에서 샘플링된 4개의 코드북으로 32kHz EnCodec 토큰화기를 통해 학습된 단일 단계 자동 회귀 트랜스포머 모델입니다. MusicLM과 같은 기존 방식과 달리 MusicGen은 자체 감독 시맨틱 표현이 필요하지 않으며, 한 번에 4개의 코드북을 모두 생성합니다. 코드북 사이에 약간의 지연을 도입하여 병렬로 예측할 수 있으므로 오디오의 초당 자동 회귀 단계가 50개에 불과하다는 것을 보여줍니다. 샘플 페이지를 확인하거나 사용 가능한 데모를 테스트해 보세요!

간단한 API와 4개의 사전 학습된 모델을 제공합니다. 사전 학습된 모델은 다음과 같습니다:

소형: 300M 모델, 텍스트 음악 변환만 가능

중형: 1.5B 모델, 텍스트 음악 변환만 가능

멜로디: 1.5B 모델, 텍스트-음악 변환 및 텍스트+멜로디-음악 변환

large: 3.3B 모델, 텍스트-음악 변환 전용

https://ai.honu.io/papers/musicgen/

music lm과 musicgen을 비교할수있는 mp3샘플사이트

[📪정보] 메타:audiocraft 구글 MusicLM을 뛰어넘었다

댓글 2

다른 게시글