[일반] whisper 자체가 유튜브영상으로 훈련됐을걸

[익명(220.116)]

그게 정확성이 높으면서도 무음일때 특유의 halluaction 있는 이유임

무음구간에 인식된거보면 '구독과 좋아요를 눌러주세요' '하쿠네 미쿠' '자막 제작사' 등등 나옴

whisper가 가장 특이한것 중에 하나가 노래가사 인식율이 엄청 좋다는건데

이유는 뭐 알다시피 노래도 같이 학습했기 때문이지(출력으로 막 하쿠네 미쿠가 나오는 이유)

https://github.com/PlayVoice/lora-svc 

GitHub - PlayVoice/lora-svc: singing voice change based on whisper, and lora for singing voice clone

그 증거중에 하나로 whisper가 노래 커버용 인코더로서 성능이 탁월하다는 말이 있음

[Joyful(approve1515)]