여러므로 더빙모드를 잘 써줘서 고맙다
최근에 고민이 있었음
더빙모드를 유지보수 할 사람이 나밖에 없는데 신규더빙 제작하기에는 시간이 없음
하지만 제작에 공수가 존나 들어서 좀 빡셈
제작 과정은 이럼
원본음성 스크립트 분석 -> AI로 임시 번역 후 게임 내 공식 자막 매칭 -> 원본음성에 잘맞는 한글음성 샘플 제작
-> 공식 더빙에 맞춰서 제작 (수백번 반복) -> 검수 후 패치파일로 제작
이렇게 진행 됨
특히 seaf나 시민들은 남성 여성 음성이 구별없이 되어 있어서 다 들어보고 분류해야해서 시간이 배로 늘어남
제작은 마려운데 시간 갈아서 넣기가 너무 부담스럽고 에라이 좉같네 하고 AI로 자동화 스크립트 한번 제작해봤음
번역이 아쉽긴한데 어차피 임시 번역하고 뉘양스만 본 다음
오디오 모딩툴에서 공식자막 대충 때려 맞추는 상황이였는데 이 정도면 나쁘진 않은듯?
대충 대사 하나당 10초 걸림
어쩌면 99퍼 한국어 더빙 가능 할지도 모르겠다
이걸 왜 유저가 해야하는가
이미 자동화 파이프라인 구축해둔줄 AI보이스도 코어 보이스 만들어두면 톤이나 말투 통일해둘수있고, 번역에서도 LLM 병행해두면 말투 캐릭터별로 알아서 생성할 수 있음 - dc App
일단 번역은 openai api 연동시켜뒀음 문제는 공식 자막과 맞게 매칭시켜야하는건데 이게 좀 걸리네
@ㅇㅇ 가장 좋은건, 한글자막도 게임 파일에 있을테니깐 그걸 데이터셋으로 가져와서 탐색시키면 됨. LLM 자체도 번역 잘하지만, 배경 정보나 세계관 데이터가 없으면 지 맘대로 번역해서 찐빠도 잘남
@ㅇㅇ 헬갤 모더나 개발자 많은데 헬갤 개발팀 꾸려서 서로 도와주면서 헬갤 프레임워크 만들면 좋을듯 ㅋㅋㅋㅋ
@토드_하워드 데이터 셋으로 가져와서 탐색 시키는거 부터가 난관이네 정보 줘서 ㄳㄳ 그리고 확실히 cuda로 구동하니까 빠른듯 cpu보다 7배정도 빠르네
@ㅇㅇ 가장 좋은 방식은 LLM한테 RAG 시켜야하니깐, 해당 스크립트를 VectorDB나 Elasticsearch에 얹어두고, RAG가 색인하기 쉽도록 임베딩을 한 다음 색인을 시키면 알아서 가져올꺼야. 그리고 만약 가져오는걸로만 싫다하면, 생성 LLM한테 캐릭터 데이터를 미리 지정하고 넘기면 너가 지정한 말투나 톤에 맞춰서 가져온 한글 자막을 바탕으로 생성해줄꺼임. 그렇게 생성할때 Voice AI한테 넘길 파라미터나 프롬프트도 같이 생성시키게 하면 진짜 한번에 쭉쭉쭉 작동하는 자동화 파이프라인 구축가능함
@토드_하워드 오 처음보는 단어들이 많아서 좀 어렵긴한데 충분히 구축 가능하겠는데? 고맙다 테스트 해볼게
@토드_하워드 아 섹스다 json 파일로 텍스트 추출했는데 영어랑 한국어 키값이 같아서 매칭 자동화 가능할거 같다
@ㅇㅇ 보통 로컬라이제이션 그런식으로 매칭시켜서 치환만 하는거라 편하긴함 그러면 RAG할 필요도 없네, 음성 파일 이름도 매칭해서 관리하고 있으면 해당 파일 이름으로 JSON 색인하고 한글 자막 가져오면 되겠다 - dc App
@토드_하워드 퀄리티 문제랑 크레딧 낭비 문제로 더빙 자동화 까지는 못했는데 음성 제작하고 다운로드한 파일들 자동 분류 및 파일명 수정 자동화 성공해서 더빙만 신경써서 만들면 웬만한건 그냥 가능함 이것 저것 알려줘서 고맙다 덕분에 재밌게 작업가능할거 같다
@ㅇㅇ 내가 고맙지요 헬다 모딩 열심히 해주면서 유저 피드백도 받아주니깐 - dc App
모드 잘 쓰고있음 역시 더빙으로해야 몰입이 잘되서 좋더라
빨리 공식더빙을하라고 소니이개색기들아