이 짤에선 LLM과 달리 라벨 작업이 불필요하다고 하는데
실제로는 LLM도 라벨 작업이 불필요함. 적어도 사전학습은 그럼.
얀 르쿤이 제파로 하려는 건, LLM이 하려는 것과 거의 동일함
다만, 르쿤의 문제제기는 실제 시계열 데이터와 모달리티의 확장에 근거하기 때문에 대조학습이나 메타러닝의 것을 많이 도입한 거고
그래서 기존의 LLM과 아키텍처가 상이해보이는 것뿐임
하지만 제파는 LLM처럼 라벨링이 필요없는 비전-컨셉 파운데이션 모델에 근거하는 거라 최종적으로는 LLM이 추구하는 방향과 동일하다고 할 수 있음
그러면 한마디로 얀르쿤이 지금 헛짓거리한다는 것이냐???
ㄴㄴ모델의 모달리티를 텍스트에서 시간-공간적 정보로 바꾸고 있다는 거임(spatio-temporal)
ㅇㅇ 좀 더 vision 모델에서 쓰이는 모델링 가져온 느낌이긴함
시공간적 이미지 학습을 논라벨로 할 수 있는거였어?
ㅇㅇ논라벨로 하기 어려워서 여태까지 제대로된 비전 파운데이션 모델이 없었던 거임. LLM은 자기 스스로가 모달리티 자기 참조적이라서 그 난이도가 말도 안되게 쉬웠던 거구
지금 찾아보고 내가 이해한 바로는 주어진 일련의 픽셀에서 다음 픽셀 값을 예측하는 방식이고 사실 상 말대로 거의 LLM과 유사한 작업을 하는거네. 근데 이런 시도가 어떤 의미인지는 모르겠네. 게임에서 쓰는 DLSS랑 거의 유사한 컨셉 아닌가
ㄴㄴDLSS같은 프레임보간같은 모델과는 목적이 조금 다름. Dlss나 오토인코더 같은 모델들은 말그대로 다음 시점에서의 픽셀들을 완전히 복구할 수 있는 걸 목적으로 함. 반대로 제파는 영상 내 개체 단위의 부분적 마스킹된 부분을 예측하는 걸 목적으로 함. 이 부분은 프레임보간같은 픽셀 생성쪽보다 기존의 BERT나 ViT의 MLM과 유사한 부분임.