assembl%yAi, whisper, google stt 등.. 음성을 텍스트로 바꿔주는 api 서비스들은 많은데
하나씩 보면 단점 하나 때문에 서비스 상용화가 애매함..
우리가 원하는건 실시간 자막이나 동시 통역이니 pre-record 방식은 제외하겠음. (오디오파일 녹음해서 파일 갔다주고 번역 및 텍스트 생성 하는 방식)
assembl%y -> streaming api 성능 나름 괜찮음. universal 모델들 괜찮은데 영어만 지원함.
whisper -> 현존 stt 모델들 중 성능은 최강인거 같은데 화자 분리가 안됨 ( 사내 미팅 및 다중사용자 사용간에는 힘듬)
google stt -> 화자 분리가 안됨. 근데 다국어 언어감지나 인식 성능은 굿
아마 이번에 구글 io에서 시연한 google meet 같은경우는
미리 api 셋업을 각 언어로 대기시켜서 나온 결과인거같음. (영어 스페인어만 지원한다는거보면)
근데 2인 이상인 다자간 회의 상황에서 말이 겹치거나 하면 성능 수직하락하는게 너무 아쉽다.
개인적으로 이정도 통역은 빠른시간안에 정복될줄알았는데.. 은근 갈길이 멀어보임
근데 발전해서 바로바로 통역되고 감정전달도 잘되어도 언어 배우는게 나을거같다는 생각이 듬 이게 1:1 대응이 안되서 뉘앙스? 가 다르다?는 느낌? - dc App
맞긴함 특히 단문 위주로 대화할경우 llm이 맥락 친분 기타 고려사항들을 전혀 고려할수 없기때문임... 이게 되려면 엄청나게 혁신적인 무언가가 나오거나 더 많이 발전해야할듯.