이미지는 픽셀이 최소 3채널이라 RGB 따로있고
이게 막 256x256, 1024x1024 해서
차원이 1024x1024x3 이렇게 되잖아
근데 이게 어떻게 글자당 바이트단위인 텍스트랑 통합토큰으로 묶인다는거임?
이분야 문외한이라 잘 모름 설명한 논문이나 뭐 없음?
이게 막 256x256, 1024x1024 해서
차원이 1024x1024x3 이렇게 되잖아
근데 이게 어떻게 글자당 바이트단위인 텍스트랑 통합토큰으로 묶인다는거임?
이분야 문외한이라 잘 모름 설명한 논문이나 뭐 없음?
Vector Embedding 찾아 보셈
대충 보고왔는데 그럼 텍스트랑 이미지가 차원크기가 보통 다를텐데 최근거리를 어케 계산하는거지
아마 이미지는 VIT처럼 패치 토큰으로 변환되고, 글자는 단어 토큰으로 변환되서 encoder에 입력으로 들어가겠지
결론적으로는 이미지든, 문장이든, 동일한 크기의 임베딩 벡터로 변환됨
문제는 이렇게 전혀 다른 데이터의 임베딩 벡터는 서로 연관성이 없기 때문에 이것을 어떻게 해결하는가가 멀티모달의 핵심
이미지랑 단어랑 크기 맞추면 데이터 낭비 너무 심하지 않나 NLP쪽 몰라서 뭐라 못하겠네
base 64 - dc App
해당 댓글은 삭제되었습니다.
간단하게 말하면 자연 데이터를 -> 컴퓨터가 이해할 수 있는 데이터(임베딩)으로 변환하는 작업이 인코딩임
인코딩한 결과물이 임베딩이지