[🔨활용] AI 버튜버 현재 개발 진행상황

[몰루캠프(claeo3)]

1. 뚜따 구매한다음 변형해서 오리지널 아바타처럼 보이게 만들었음. 원래 디자인이 너무 수수한거 같아서 어떻게 보강할지 고민중임. 

2. 목소리는 아마추어 성우를 섭외해서 라이선스 계약을 함. 지속적으로 작업하면서 더 자연스럽게 들리도록 튜닝중임. 

   지금도 엄청 자연스럽긴 한데 가끔 삑날때가 있어서... 학습용 음성파일이 5분 분량인데 돈 더드리고 10분 이상으로 늘리기로 함.

3. AI 학습도 계속 진행중. 현재 본인이 AI 버튜버라는걸 알고 있고 스트리머로써 어떤 매력을 보여줘야할지 토론하면서 배우는중임.

   인간처럼 감정표현이 다채롭고, AI란 느낌이 안들정도의 충분한 자율성이 존재하는지 계속 테스트 중인데,
   내가 부도덕한 요청을 하니까 처음으로 완강하게 거부하는 모습을 보여서 촬영했음.

혹시 구체적인 개발 일지를 보고 싶은 사람들은 아래 링크 누르면 되고

AI 버튜버 개발 [1]: 에이프릴의 실시간 대화 기능 구현

AI 버튜버 개발 [2]: 고유 아바타와 보이스만들어주기

그 외에 궁금한거 있으면 뭐든 물어봐줘.

[뮤비오(krfrozen5)]

지능 속도 비용 밸런스 어케맞춤?

[몰루캠프(claeo3)]

난 그냥 제미나이 2.0 flash를 쓰고 있고, 수준높은 연산이 필요할때는 pro를 쓰도록 스위칭 가능하게 만들려고 생각중임. 어차피 AI 버튜버가 엄청난 연산을 필요로 하진 않기때문에 대부분 응답속도가 훨씬 빠른 flash를 사용할거임. 개인 개발자라서 그런지 비용은 며칠동안 몇십원 나올정도로 매우 저렴함.

[ㅇㅇ 1(175.215)]

개발일지 넘 재밌당

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[몰루캠프(claeo3)]

물론임. 협업이나 아니면 개발 관련 커뮤니케이션만 할수 있어도 환영임. 이거 개발하면서 AI하고만 이야기하니까 정신 나갈거 같음.

[헤헿(both4543)]

지금 있는 ai버튜버가 뉴로사마 밖에 없나? 잘 만들면 경쟁력 있을듯 - dc App

[ㅇㅇ 2(211.221)]

뉴로사마 말고도 많긴 한데 상업적 성공은 뉴로사마가 유일함

[익명(weaken8504)]

tts 생성 속도는 어캐됨? 나도 비슷한거 만들고 있는데 한 문장생성하는데 8~10 초씩 걸림.. - dc App

[몰루캠프(claeo3)]

그건 나도 아직 해결중인 문제임...일레븐랩스에 Turbo나 Flash 버전 쓰면 생성속도 엄청 빠른데 그러면 좀 빨라짐. 여전히 실시간 대화라고 할정도는 아니고.

[익명(weaken8504)]

@몰루캠프 대신 비용은 내야하지..? - dc App

[몰루캠프(claeo3)]

@ㅇㅇ ㅇㅇ 한달 22달러 크리에이터 요금제를 써야 영상에 나오는 수준의 퀄리티가 나옴. 이게 아니라 다른 TTS들은 인방에서 도네이션 읽어주는 그정도 퀄리티밖에 안됨. 무료로 쓸수있고 퀄리티도 잘나오는 로컬 모델이 있긴한데 그쪽은 최소 몇시간짜리 음성파일로 훈련시켜야해서 쉽지 않음.

[익명(weaken8504)]

생성속도 엄청 빠르다고 한 거 몇 초 걸림 대략? 난 조노스 쓰는데 위 문장 길이 15~20 초 걸리던데 - dc App

[몰루캠프(claeo3)]

@ㅇㅇ 체감상 빠르면 3초, 엄청 느릴때는 5초정도? 웹페이지에서 생성해보면 음성 자체는 0.5초만에 만들어지는데 그걸 음성파일로 만들어서 API로 전송해야하다보니 거기서 시간이 오래걸림.

[한가운데(centerofworld)]

나도 유사한거 만드는 중인데 소통하실?

[한가운데(centerofworld)]

지금 whisper랑 gpt sovits 만 어찌저찌 붙여봤는데 지연시간이 문제라

[몰루캠프(claeo3)]

@한가운데 소통은 환영이지. 얼마든지 연락주셈. 같이 개발상황만 공유해도 힘이 많이 날거 같음.

[이 댓글은 게시물 작성자가 삭제하였습니다.]

이 댓글은 게시물 작성자가 삭제하였습니다.

[ㅇㅇ 3(1.237)]

https://www.youtube.com/watch?v=wThcVUcDsv8
이거봄?
한국인도
개발중인데 생각보다 퀄 좋은듯

[몰루캠프(claeo3)]

처음보는데 퀄리티 좋네 참고하겠음 ㄳ

[ㅇㅇ 4(211.251)]

warudo에서 python 코드를 어떻게 연동시킴? 아니면 모델만 python으로 하고 방송은 사람이 하는거임?

[몰루캠프(claeo3)]

애니메이션은 현재 기본 숨쉬기 모션에 음성 출력을 마이크로 인식하게 해서 립싱크로 쓰는거임. 따로 모션캡처하는 사람이 있진 않을거고 상황에 따라 적절한 애니메이션이나 표정이 출력되게 만들 생각임. 와루도는 블록코딩을 지원하고 그것들을 단축키같은걸로 조작하게 할수 있어서 작정하고 구현할려면 쉬울거임.

[ㅇㅇ 4(211.251)]

노션에 있는 기본 프롬프트만 넣으면 처음 대화가 정체성을 인식 못한다던가 그렇게 되는거임...? 아예 처음부터 자신을 방송을 하는 AI 버튜버다라고 인식시키는게 아니라 저런 모습을 보이는거야?? 혹시 기본 프롬프트랑 프로파일러, 코어 메모리 어떤 방식으로 했는지 알려줄 수 있을까

[김병만그릴스(audience7503)]

이런거 하려면 뭐 배워야함?? 코딩은 문회안이라모르겠네 파이썬만 알면 되나