LLM에서 각 토큰마다 고유의 벡터가 수백에서 수만개가 있잖아요?
해당 토큰이 가지고 있는 수만개의 벡터값이 어떻게 3차원 X,Y,Z 좌표로 표현될 수 있는건가요?
Word2Vec 같은 알고리즘에서 인공신경망이 입력층을 토큰의 벡터갯수만큼 있고 출력층이 x,y,z로 딱 3개만 존재하능건가요???
해당 토큰이 가지고 있는 수만개의 벡터값이 어떻게 3차원 X,Y,Z 좌표로 표현될 수 있는건가요?
Word2Vec 같은 알고리즘에서 인공신경망이 입력층을 토큰의 벡터갯수만큼 있고 출력층이 x,y,z로 딱 3개만 존재하능건가요???
토큰마다 벡터가 수백 수만개라고?
아 벡터안에 들어간 값이 수백에서 수백개란 뜻입니다.
무슨 말 하는건지 잘 모르겠는데 뭘 보고 온건지 참고자료라도 올려봐
토큰당 보통 백터는 한개아냐? 길이에서 베리에이션를 주더라도
벡터안에 값이 여러개 있었다는 뜻입니다.
총체적 난국이야 지금 다시 정리해서 써봐 그리고 값이 몇개든 1차원으로 나타내지자나 축소해서 백터크기가 3의 3승이라가정 하면 3차원에 27개담을수있지만 다 이어붙혀서그냥 1차원에 길이 27로 쓴다는거야
아 제가 벡터의 숫자들을 각 차원의 값으로 인식해서 그런가 보네요 토큰의 벡터안에 숫제가 몇개가 있던 결국 1차원의 숫자가 나열된거다라고 인식하면 되는걸까요
Bert 토큰도 결국 768개의 숫자로 이루어진 1차원 임베딩으로 표현됨
차원이랑 갯수는 다른 단어야... 선형대수부터 보고나서 워드 엠베딩 하자... - dc App
? 꼭 3차원인것도 아니고 정한 차원만큼의 특징으로 단어들을 나타내게됨 - dc App