최근에 멀티모달 임베딩 쪽으로 조금 공부했는데, image + text to image + text 임베딩의 유사도를 이용해서 검색을 하면, image to text or text to image mapping은 안이루어지고 같은 모달리티끼리 비교되던데...
사람 뇌를 생각하면 꼭 같은 모달리티라고 더 비슷하게 생각하는 건 아닌 것 같은데 (전혀 다른 종의 강아지 사진(리트리버와 불독)과 특정 강아지 종의 이름인 단어 "리트리버"의 유사도를 생각해보면), 이걸 어떻게 해야 해결할 수 있을까...
임베딩 공간에서 애초에 이미지 포인트랑 텍스트 포인트는 각각 떨어져서 모여있음. 이미지끼리는 가깝게 텍스트끼리는 가깝게
그걸 지적하는거야 사람은 안그런데 현재 임베딩은 그러니까 다른 방법이 없나? 싶은거지
앵커가 될만한 것들을 기준으로 엠베딩 공간을 믹스하면 되겠지 - dc App
흑과 백, 색깔을 뜻하는 단어라던가 이런것들을 앵커로 그 사이에 있는 공간을 프로젝션하면 될듯 - dc App
clip이랑 llava 읽어보세요
그거 해결하면 논문임 ㅇㅇ
난 트포 말고 더 혁신적인 모델이 나오길 바래서...멀티모달 그리 기대는 안함
DW
혁신적인 모델이 나온다면 그 혁신적인 모델로 멀티모달을 하려고 하겠지