결국 인공지능에 들어갈때는 토큰임
TTS보다 STS를 위로 쳐주는 건 사람이 만든 토크나이저가 원본 데이터의 해상도를 풍화시키지 않길 바라는거임
하지만 이 바람은 STS나 TTS 같은 방식의 차이와는 직접적으로는 상관 없음
너도 들은 다음에 머릿속에서 텍스트로 생각하고 말하기도 하잖음
이미 요즘 인공지능은 속마음을 만들어내는 수준에 다다름
그리고 그 속마음은 텍스트로도 가능하고 임베딩으로도 가능함
요약: STS냐 TTS냐는 이제 중요하지 않음. 성능만 보셈
해당 댓글은 삭제되었습니다.
이 글이랑 상관 없는 댓 같은데 그건 검열때문인 거 아닐까? 아니면 토크나이저 해상도를 낮춰놨든가
ㄴㄴ 소리를 받아도 소리를 결국 처리하게 되는데 그게 TTS랑 다를게 없다는거임. 당장 대본만 해도 텍스트잖아. 이건 STS나 TTS의 문제가 아니라 내부 구현과 성능의 문제일 뿐임
소리도 결국 처리돼서 토큰으로 들어감. 텍스트도 처리돼서 토큰으로 들어감. 원한다면 [화난듯한 목소리로] [떨리는 목소리로] 같은 텍스트 토큰을 추가하는 걸 생각해볼 수 있겠지
CoT가 들어가는데 단순한 엔드 투 엔드라 볼 수 있음? 이미 분류법의 한계를 넘어섰다 봄
보이스모델에도 내부 지능이 있을 거 아님
난 모든게 텍스트로 처리된다 생각하지 않는데?
이 댓글은 게시물 작성자가 삭제하였습니다.
59.6)소리도 결국 처리돼서 토큰으로 들어감. 텍스트도 처리돼서 토큰으로 들어감. 원한다면 [화난듯한 목소리로] [떨리는 목소리로] 같은 텍스트 토큰을 추가하는 걸 생각해볼 수 있겠지 >>이런 멍청한 소릴하지 말았어야지 ㄴ 근거없이 멍청한 소리래서 지움. 토론 모멘텀을 모르는놈인가
이 댓글은 게시물 작성자가 삭제하였습니다.
119.202)너 네 마음에 안 드는 댓글 댓삭하고 그 내용 박제하는 거 좀 '교양 있고 수준 높은 토론을 즐기는 나'에 취한 하남자 같아... ㄴ 내 방식임. 이러면 몰아가기를 잘 막을 수 있더라고
해당 댓글은 삭제되었습니다.
ㅇㅇ) 존나 무식하네 ㅋㅋ 노래 듣는거랑 가사만 보는거랑 차이다 병신아 > 욕 빼고 적으면 대댓 달아줄게
토큰으로 들어가는 게 대체 어쨌다는 건지 모르겠음. 마치 음성이나 텍스트나 결국 컴퓨터에서 처리될 땐 0과 1 아님? 이 소리랑 똑같이 들림
0과 1까지는 아니더라도 맞는말임 음성은 적절한 토큰으로 바뀌어 모델에 들어가는데 토큰은 적당한 텍스트로 표현될 수 있음.
대상이 소리라서 잘 안 와닿는다면, 동영상이라고 생각을 해 보셈. 넌 지금 영화 한 편을 글로 묘사한 게 원본 영화와 별 차이 없다고 주장하는 거임
인간이 글로 묘사한거면 차이가 있을수도 있겠지 시간도 공간도 속도도 부족하니까 또 다른 필터와 압축알고리즘을 통해서 크기를 줄일테니까. 근데 이건 원본 해상도의 풍화에 관한 문제지 텍스트라는 형식의 문제가 아니라는거임.
텍스트라는 형식의 문제가 맞음. 넌 텍스트가 정보 전달에 있어 얼마나 비효율적인 방식인지 과소평가하고 있음
영상도 매 프레임 모든 픽셀을 풀어서 텍스트로 적을 수 있고, 컴퓨터는 이미 그런 방식으로 처리함. 이건 텍스트의 문제가 아님 댓쓴이의 주장은 '인간이 사용하는 텍스트의 한계와 원본 해상도 풍화'를 의미하는거 아님?
극단적으로 가면 그렇겠지. 하지만 STT 방식에 prefix 텍스트 좀 추가하는 방식만으로 같은 정보량을 전달하려면, 필요한 텍스트 분량은 어마어마하게 늘어날 거임. 비현실적인 얘기라는 거임. 소리를 직접 토큰화하는 게 의미 있는 이유는, LLM의 텍스트 latent space는 절대 소리 latent space를 포함할 수 없기 때문임
보통 그런 근거로 반박하는데 결국 토큰화하지 않으면 STS도 의미 없는거고 토큰들은 대응되는 텍스트토큰으로 변환될 수 있으니까 이건 방법의 문제가 아니고 'STS가 아니라 TTS인 듯' 같은 논쟁이 불필요하고 무의미하다는 말임
토큰들은 대응되는 텍스트 토큰으로 변환될 수 있으니까 << 변환이 아니라 압축임. 그것도 어마어마한 정보량 손실을 동반하는. 그게 핵심이야
아니라 생각함. [큰 목소리로 화내는듯한 억양과 떨리는 목소리] 이걸 하나의 토큰으로 생각하는 TTS를 생각해볼 수 있음.
"[큰 목소리로 화내는 듯한 억양과 떨리는 목소리]"와 실제 큰 목소리로 화내는 듯한 억양과 떨리는 목소리는 정보량이 차원이 달라. 물론 몇몇 상황에선 '별 차이 없는데?' 하고 느낄 수도 있겠지. 하지만 눈 가리고 아웅일 뿐, 본질적 차이를 무시하는 건 가능성을 무시하는 것과 같아
필요하다면 더 복잡한 정보량의 토큰을 만들 수 있겠지 나는 지금 '보이스모드가 TTS다'라던가 'STS중심의 모델이 TTS중심의 모델과 구조가 비슷하다'는 주장을 하는게 아님 STS와 TTS를 나누는게 의미 없어질만큼 인공지능이 기존 분류의 틀을 벗어났고, 그에따른 새로운 용어나 논의가 필요하다는말임
내가 계속 부정하고 있는 건 STS와 TTS를 나누는 게 의미 없다는 부분 단 하나임. 네가 정보량의 차이라는 걸, latent space의 차이라는 게 얼마나 큰 건지 잘 실감을 못하는 것 같아서 설명을 잘 해 주고 싶은데 쉽지가 않네. TTS 모델 기반으로 STS의 실질적/잠재적 성능에 근접한 결과를 낸다면, 한 마디 하는데 아웃풋 몇천 토큰 몇만 토큰씩 나올 거라는 것만 알아 두셈
나 슬슬 흥미 떨어지고 미래일기 마저 보고 싶으니깐 궁금하면 LLM의 원리, 특히 인코더랑 디코더 부분 직접 한 번 공부해 보셈 ㅂㅇ
토큰이 얼마나 많은 정보를 담고 있는데 그걸 텍스트로 완전하게 표현하는 게 가능하다고 생각하노? LLM에서 영어와 다른 언어의 성능 차이는 왜 나타난다고 생각하노?
그건 파이썬과 C언어의 차이가 문법에 있다는 거랑 똑같은 소리 아님? 내부 구현의 문제라는거지
일단 게이가 현대 모델 내부 구현에 대한 이해가 아예 없는 건 잘 알겠노 토큰을 통해 만들어지는 임베딩 벡터의 차원이 oai text-embe1dding-3-large의 경우 최대 3072다 거기에 토큰은 언어에 따라서 나눠지는 게 다르다 그럼 그 토큰으로 생성된 float로 표현되는 임베딩 벡터들은 얼마나 다르겠으며 그 안에 함축된 의미는 또 얼마나 깊겠노? 특히 미묘한 늬앙스를 가지는 오디오를 텍스트만으로 대체 가능하다는 그 말 자체가 말이 안된다 이기야 더 공부하고 와라 게이야
텍스트만으로 대체된다 한 적 없는데
윗 댓 읽어보던가
토큰과 임베딩 벡터도 구분을 못하며 원본 데이터의 풍화를 주장하면서 TTS와 STS는 차이가 직접적으로 없다고 말하는데 무슨 말을 더 하겠노 열심히 하고 수고해라 게이야 ㅇㅇ
입출력 형식이 지능과 상관없다는거까진 이해했는데 그게왜 STS가 의미없다는결론으로이어지는지 몰루겟어요
STS가 의미 없다는게 아님 보이스모드는 입출력 형식에서 당연히 STS지 근데도 소리 크기를 구분 못하는 모습을 보고 STS가 아닌 것 같다는 말이 나오고 그럼 TTS냐는 말이 나오니까 단어와 표현의 한계가 있어보인다는 말임. 더불어 보이스모델이 내부적으로 o1형식의 CoT를 하면 그건 StTtTtS모델인거냐, 그건 의미 없다는거지.
아니 글에서 하고싶은말이먼지 핀트를못잡겟음 무슨말이하고싶은거야
STS라는 표현은 한계가 있고 특갤에서 간간히 잘못 쓰이고있다는게 핀트임
STS 멀티모달이라고하면 대겟니
정확히는 STS가 지금까지 STS 엔드투엔드를 의미했던게 한계라 생각하는 이유임