결과물을 낼거같다 , 될거같다 이런류의 흥미는 아니고

직관적으로 이해가 빨리되는 아이디어라서 성능이 어떨지 흥미가 생김



V-JEPA 원리는 쉽게말해 이미지의 일부를 지운뒤 

사전학습한 추론모델(아마도 메타의 내부 언어모델 아닐까?)한테 던져줘서 빈칸에대해 추론하게 한다음
그걸 그림으로 그려내는 디코더를 원본과 비교해가면서 학습했다는건데



아무래도 텍스트-이미지간 보다 더 추상적인 차원에서의 의미공유를 위해,

SNS에서 sora를 비판했던 논리 그대로 '구조에 대한 인간적 이해'를 모델에 때려박기위해

사전학습한 추론모델의 출력을 그림으로 그려내는 디코더만 학습하는 방식을 쓰는거같음


게다가 내가 특갤에 가끔씩 썼었던 언어모델에 의한 블랙박스 해독 방법론과 일맥상통해서

마치 대리실험해주는것같아 결과물이 어느정도일지 매우 궁금함 

https://gall.dcinside.com/mgallery/board/view?id=thesingularity&no=383052

(진지,장문)ai정렬방법 이거어떰?어짜피 언어모델이건 뭐건 지금ai는 대부분 입력정보를 가공하는 방식이 다른거지 가공물 나오면 결국 밀집신경망으로 추론하잖아? 멀티모달이면 다양한형태의 정보를 동일사이즈의 의미벡터로 가공해서 밀집신경망에 보내는거 아님?gall.dcinside.com




과연 어떤 성과를 보여줄려나??

뭐 오픈AI 넘어서는건 1도 기대안되고 그냥 어떤특징들이 보여지고 어떤 약점들이 보여질지 궁금함