[📪정보] GPT와 Jepa 차이

[뽀로로(dlwngjs1212)]

gpt는 transformer only decoder 구조인데

각 토큰들에 관계를 학습해서 이러이러한 토큰들이 순서로 있을때 다음토큰으로 올 토큰에 확률분포를 출력하고 top-k만큼 상위 확률에 토큰으로 샘플링해서 거기서 확률만큼 랜덤으로 출력하게하는 방식인데 이렇게만 보면 뭔가 내가 말한걸 진짜 llm이 이해한건가 싶다 근데 실제로는 마스크셀프어텐션(이 부분이 방금 위에서 말한 과정을 수행하는 블럭이다)블럭을 위로 쌓아서 상위 블럭으로 스탭이 진행될때마다 점점 더 추상화하도록 설계되어있다.

Jepa는 토큰이나 이미지 픽셀등 “원자적”단위로 학습하는게 아닌 개념으로 학습한다 이렇게만 말하면 아키텍쳐가 잘 안그려지기 때문에 보자면

일단 전체적인 흐름부터 보자면 x-encoder에 입력값 x를 넣고 y-encoder에는 목표값 y를 넣는다 각 인코더는 각 입력에 대한 임베딩을 출력한다 즉 개념이라고 보면 되겠다 이때 x-encoder 출력은 다시 predictor에 넣고 출력 sy헷을 얻는다 이때 sy헷은 y-encoder에 출력 즉 목표값에 임베딩(개념)에 대한 추론값이다 

한마디로 jepa에 기본 동작은 입력값에 개념을 목표값에 개념으로 변환시키는것이다 이때 loss는 sy헷과 sy에 거리로 나타낼수있다 근데 여기서 중요한점은 y-encoder는 그라디언트로 업데이트하는 방식이 아닌 x-encoder에 θ와 y-encoder에 θ를 선형보간하여 점진적으로 업데이트 시킨다

요약하면 jepa는 관찰된것을 바탕으로 관찰되지 않은 것의 추상적 표현을 예측한다라고 보면되겠다 

더 직관적으로 생각해보자면 산과 계곡이 있는 이미지가 있다고 가정하고 이미지가 윗쪽이 일부 찢어졌고 그걸 보간하고 싶다고 해보자 다른 이미지 생성 ai들은 픽셀수준에서 관계를 학습해서 생성하겠지만 jepa는 이미지를 추상적 표현으로 이해한다음 산과 계곡이 있으니(여기까지 x-encoder) 하늘이 있어야된다는 사실(여기가 predictor)에 자연스럽게 물흐르듯이 도달하는것이다

가장 쉽게 설명하기 위해서 사소한것들은 다 생략하고 핵심적인 부분만 담았다 그리고 jepa라는 아키텍쳐가 사실 그렇게 어려운 아이디어는 아니라는점과 작동원리를 조금이라도 알았으면 성공이라고 생각한다

- dc official App

[익명(124.54)]

완성품은 언제 볼 수 있음..

[뽀로로(dlwngjs1212)]

이미지랑 비디오기반 모델은 나온지 좀 됬습니다 - dc App

[도로시냥(slzpdnjsxnf)]