일단 내가 이해하기로는
텍스트가 이산적이고 명확하게 그 자리에 있어야 의미가 정확하게 전달됨
Happy Not blah blah이랑, Not Happy가 다른 것 처럼.
그래서 현재 나와있는 모델들은 각 토큰에 번호를 부여해서, 각 토큰의 순서를 학습-추론하는 형태로 발전했음.
그러면 르쿤이 햄의 JEPA는 어떨까
JEPA는 가능성 있는 토큰 순서를 추론하지 않음, 대충 느낌을 추적하는 편임. 그러니까 벡터를 추론함.(걍 간단하게 말한거임)
임베딩 영역에서 방향성만 가지고 있으니 명확하게 단어에 대한 토큰이 안 나오기도 하고, 벡터를 토큰으로 바꿔버리면 전부 딱 맞는 것도 업어서 정보의 손실도 발생함.
그러면 텍스트가 이산적이라는 문제를 해결할 필요가 있는 거임.
딱 보면, 예전에 냈던 LeNet이랑 비슷함 ㅇㅇ
방식만 보면 오히려 JEPA는 이미지, 영상, 음악 쪽에 더 가까운 편임. 그쪽 데이터는 명확하게 이산적이지도 않아가지고. 뭐라도 표현은 될 거 같음.
그러면 이쪽으로 좀 비슷한게 있지 않음? Diffusion Model이 있음 ㅇㅇ
얘도 언어모델 되려면 텍스트가 이산적이라는 문제를 해결할 필요가 있음.
근디 이걸 어느정도 해결한 Inception Labs이나 LLaDa 나올때도 르쿤이 햄 별말 안했던 걸로 기억하는데 진짜 그냥 입터는 거 보면 관심이 없는건지
쟤들의 해결방법이 마음에 들지 않았던건지 걍 모르겠음.
그냥 이만큼 소식 따라와도 저런 문제를 어케 해결해야할지 잘 모르겠다.
나오기나 할런지 그 머리속에 뭐라도 있는건지 궁금함.
답은 아날로그데이터다
텍스트는 이산적인데 LLM은 텍스트 토큰을 이산적으로 다루지 않음. LLM이 처리하는건 텍스트가 아니라 벡터화된 데이터 집합이야. 그래서 아마도 전제가 틀렸지 않나 싶음
ㅇㅇ 정확하게 맞는 말임 쉽게 전달하려고 출력 끝부분만 짤라서 말한거긴함.JEPA는 연속된 벡터를 추론하는 거고, LLM은 실수 벡터가 입력되고 이산 토큰을 추론하는 거니깐