일단 내가 이해하기로는

텍스트가 이산적이고 명확하게 그 자리에 있어야 의미가 정확하게 전달됨


Happy Not blah blah이랑, Not Happy가 다른 것 처럼.


그래서 현재 나와있는 모델들은 각 토큰에 번호를 부여해서, 각 토큰의 순서를 학습-추론하는 형태로 발전했음.



그러면 르쿤이 햄의 JEPA는 어떨까


JEPA는 가능성 있는 토큰 순서를 추론하지 않음, 대충 느낌을 추적하는 편임. 그러니까 벡터를 추론함.(걍 간단하게 말한거임)


임베딩 영역에서 방향성만 가지고 있으니 명확하게 단어에 대한 토큰이 안 나오기도 하고, 벡터를 토큰으로 바꿔버리면 전부 딱 맞는 것도 업어서 정보의 손실도 발생함.


그러면 텍스트가 이산적이라는 문제를 해결할 필요가 있는 거임.



딱 보면, 예전에 냈던 LeNet이랑 비슷함 ㅇㅇ 


방식만 보면 오히려 JEPA는 이미지, 영상, 음악 쪽에 더 가까운 편임. 그쪽 데이터는 명확하게 이산적이지도 않아가지고. 뭐라도 표현은 될 거 같음.



그러면 이쪽으로 좀 비슷한게 있지 않음? Diffusion Model이 있음 ㅇㅇ 



얘도 언어모델 되려면 텍스트가 이산적이라는 문제를 해결할 필요가 있음.


근디 이걸 어느정도 해결한 Inception Labs이나 LLaDa 나올때도 르쿤이 햄 별말 안했던 걸로 기억하는데 진짜 그냥 입터는 거 보면 관심이 없는건지


쟤들의 해결방법이 마음에 들지 않았던건지 걍 모르겠음.


그냥 이만큼 소식 따라와도 저런 문제를 어케 해결해야할지 잘 모르겠다.


나오기나 할런지 그 머리속에 뭐라도 있는건지 궁금함.