[📪정보] V-JEPA: 얀르쿤의 고급 기계 지능(AMI)을 향한 다음 단계

[익명(121.132)]

https://ai.meta.com/blog/v-jepa-yann-lecun-ai-model-video-joint-embedding-predictive-architecture/

Error

인간으로서 우리가 주변 세계에 대해 배우는 것 중 많은 부분은(특히 삶의 초기 단계에서) 관찰을 통해 수집됩니다. 뉴턴의 세 번째 운동 법칙을 생각해 보세요. 심지어 유아(또는 고양이)도 테이블에서 여러 가지 물건을 떨어뜨리고 그 결과를 관찰한 후에 올라가는 것은 반드시 내려온다는 것을 직관할 수 있습니다. 그 결과에 도달하기 위해 몇 시간의 교육이 필요하지 않으며 수천 권의 책을 읽을 필요도 없습니다. 당신의 내부 세계 모델, 즉 세상에 대한 정신적 모델을 기반으로 한 상황별 이해는 이러한 결과를 예측하며 매우 효율적입니다.

2022년에 최초의 JEPA(Joint Embedding Predictive Architecture)를 제안한 Meta의 VP 겸 최고 AI 과학자 얀르쿤은 "V-JEPA는 기계가 보다 일반화된 추론과 계획을 달성할 수 있도록 세상에 대한 보다 기초적인 이해를 향한 한 단계입니다."라고 말합니다. "우리의 목표는 인간처럼 더 많은 것을 배울 수 있는 고급 기계 지능을 구축하여 주변 세계의 내부 모델을 형성하여 복잡한 작업을 완료하는 서비스에서 효율적으로 학습하고, 적응하고, 계획을 세우는 것입니다."

비디오에 초점을 맞춘 JEPA

V-JEPA는 추상 표현 공간에서 비디오의 누락되거나 가려진 부분을 예측하여 학습하는 비생성 모델입니다. 이는 I-JEPA(Image Joint Embedding Predictive Architecture)가 픽셀 자체를 비교하는 대신 이미지의 추상적 표현을 비교하는 방법과 유사합니다. 누락된 모든 픽셀을 채우려는 생성적 접근 방식과 달리 V-JEPA는 예측할 수 없는 정보를 버릴 수 있는 유연성을 갖추고 있어 훈련 및 샘플 효율성이 1.5배에서 6배까지 향상됩니다.

V-JEPA는 자기 지도 학습 방식을 사용하기 때문에 레이블이 지정되지 않은 데이터로 완전히 사전 학습됩니다. 라벨은 사전 학습 후 특정 작업에 모델을 적용하는 데에만 사용됩니다. 이러한 유형의 아키텍처는 필요한 레이블이 지정된 예제 수와 레이블이 지정되지 않은 데이터를 학습하는 데 투입되는 총 노력의 측면에서 이전 모델보다 더 효율적인 것으로 입증되었습니다. V-JEPA를 통해 우리는 이 두 가지 측면 모두에서 효율성이 향상되는 것을 확인했습니다.

V-JEPA를 사용하면 비디오의 많은 부분을 가려 모델에 컨텍스트가 약간만 표시됩니다. 그런 다음 실제 픽셀이 아닌 이 표현 공간에서 보다 추상적인 설명으로 누락된 부분을 채우도록 예측자에게 요청합니다.

V-JEPA는 학습된 잠재 공간에서 마스크된 시공간 영역을 예측하여 시각적 인코더를 교육합니다.

마스킹 방법론

V-JEPA는 특정 유형의 행동을 이해하도록 훈련받지 않았습니다. 대신 다양한 비디오에 대한 자가 감독 교육을 사용하고 세상이 어떻게 작동하는지에 대해 많은 것을 배웠습니다. 또한 팀은 마스킹 전략을 신중하게 고려했습니다. 비디오의 넓은 영역을 차단하지 않고 여기저기서 무작위로 패치를 샘플링하는 경우 작업이 너무 쉬워지고 모델이 세계에 대해 특별히 복잡한 내용을 학습하지 못하게 됩니다.

또한 대부분의 비디오에서는 시간이 지남에 따라 상황이 다소 느리게 진행된다는 점을 기억하는 것도 중요합니다. 비디오의 일부를 마스킹하지만 특정 순간에만 모델이 직전 및/또는 직후에 나온 내용을 볼 수 있다면 작업이 너무 쉬워지고 모델은 흥미로운 내용을 거의 배우지 못할 것입니다. 따라서 팀은 공간과 시간 모두에서 비디오의 일부를 마스킹하는 접근 방식을 사용하여 모델이 장면에 대한 이해를 학습하고 발전시키도록 했습니다.

효율적인 예측

추상 표현 공간에서 이러한 예측을 수행하는 것은 모델이 다운스트림 작업에 가장 중요하지 않은 종류의 세부 사항에 대해 걱정하지 않고 비디오에 포함된 상위 수준 개념 정보에 집중할 수 있기 때문에 중요합니다. 결국 비디오에 나무가 표시된다면 각 잎사귀의 미세한 움직임에 대해 걱정하지 않을 것입니다.

우리가 이 방향에 대해 기대하는 이유 중 하나는 V-JEPA가 "동결 평가"에 능숙한 최초의 비디오 모델이기 때문입니다. 즉, 우리는 인코더와 예측기에 대해 자체 지도 사전 훈련을 모두 수행합니다. , 그러면 모델의 해당 부분을 더 이상 건드리지 않습니다. 새로운 기술을 배우기 위해 이들을 적응시키고 싶을 때, 우리는 그 위에 작고 가벼운 특수 계층이나 작은 네트워크를 훈련시키기만 하면 됩니다. 이는 매우 효율적이고 빠릅니다.

로우샷 고정 평가: 세심한 프로브 교육에 사용할 수 있는 각 데이터 세트에서 레이블이 지정된 예의 비율을 변경하면서 Kinetics-400 및 Something-Something-v2에 대한 고정 평가에서 V-JEPA를 다른 비디오 모델과 비교합니다. 우리는 기차 세트의 5%, 10% 또는 50%를 사용하여 여러 가지 낮은 샷 설정에서 프로브를 훈련하고 각 설정에서 3번의 무작위 분할을 수행하여 보다 강력한 측정 항목을 얻습니다. 결과적으로 각 모델에 대해 9개의 다른 평가 실험이 수행됩니다. . 공식 검증 K400 및 SSv2 검증 세트에 대한 평균 및 표준 편차를 보고합니다. V-JEPA는 다른 모델보다 라벨 효율성이 높습니다. 특히 각 클래스에서 사용 가능한 라벨이 지정된 예제 수를 줄이면 V-JEPA와 기준선 간의 성능 격차가 늘어납니다.

이전 작업에서는 전체 미세 조정을 수행해야 했습니다. 즉, 모델을 사전 훈련한 후 해당 작업을 수행하기 위해 모델을 조정하는 동안 모델이 세부적인 동작 인식에 매우 능숙해지기를 원할 때 다음을 수행해야 했습니다. 모든 모델의 매개변수 또는 가중치를 업데이트합니다. 그러면 해당 모델은 전체적으로 해당 작업을 수행하는 데 특화되고 더 이상 다른 작업에는 적합하지 않게 됩니다. 모델에 다른 작업을 가르치려면 다른 데이터를 사용해야 하며 이 다른 작업을 위해 전체 모델을 특화해야 합니다. 이 작업에서 시연한 것처럼 V-JEPA를 사용하면 레이블이 지정된 데이터 없이 모델을 한 번 사전 학습하고 수정한 다음 동작 분류, 인식과 같은 여러 작업에 모델의 동일한 부분을 재사용할 수 있습니다. 세분화된 개체 상호 작용 및 활동 현지화.

비디오의 표현을 학습하기 위한 자체 감독 접근 방식인 V-JEPA는 모델 매개변수를 적용하지 않고도 다양한 다운스트림 이미지 및 비디오 작업에 적용할 수 있습니다. V-JEPA는 이미지 분류, 동작 분류 및 시공간 동작 감지 작업에 대한 동결 평가에서 이전 비디오 표현 학습 접근 방식보다 성능이 뛰어납니다.

미래 연구의 길...

V-JEPA의 "V"는 "비디오"를 의미하지만 지금까지는 비디오의 시각적 콘텐츠만 설명합니다. 보다 다양한 방식의 접근 방식이 다음 단계로 명확하므로 우리는 시각적 요소와 함께 오디오를 통합하는 것에 대해 신중하게 생각하고 있습니다.

개념 증명으로서 현재 V-JEPA 모델은 세밀한 개체 상호 작용과 시간이 지남에 따라 발생하는 상세한 개체 간 상호 작용을 구별하는 데 탁월합니다. 예를 들어 모델이 펜을 내려놓는 사람, 펜을 집는 사람, 펜을 내려놓는 척 하지만 실제로는 하지 않는 사람을 구별할 수 있어야 한다면 V-JEPA는 그 높이에 대한 이전 방법에 비해 상당히 좋습니다. -등급 행동 인식 작업. 그러나 이러한 것들은 상대적으로 짧은 시간 규모로 작동합니다. V-JEPA에 몇 초, 어쩌면 최대 10초의 비디오 클립을 보여주면 아주 좋습니다. 따라서 우리에게 또 다른 중요한 단계는 계획과 더 긴 시간 범위에 걸쳐 예측을 수행하는 모델의 능력에 대해 생각하는 것입니다.

...그리고 AMI를 향한 길

지금까지 V-JEPA와의 작업은 주로 우리를 둘러싼 세계에 대한 맥락을 얻기 위해 다양한 비디오 스트림의 내용을 이해하는 인식에 관한 것이었습니다. 이 공동 임베딩 예측 아키텍처의 예측자는 초기 물리적 세계 모델의 역할을 합니다. 즉, 프레임에서 일어나는 모든 일을 볼 필요는 없으며 프레임에서 일어나는 일을 개념적으로 알려줄 수 있습니다. 다음 단계로 우리는 계획이나 순차적 의사결정을 위해 이러한 종류의 예측 변수나 세계 모델을 어떻게 사용할 수 있는지 보여주고 싶습니다.

우리는 강력한 감독 없이 비디오 데이터에 대해 JEPA 모델을 훈련하는 것이 가능하며 유아가 비디오를 시청하는 방식으로 비디오를 시청할 수 있다는 것을 알고 있습니다. 단지 세상을 수동적으로 관찰하고 비디오의 맥락을 이해하는 방법에 대해 많은 흥미로운 것을 배우는 것뿐입니다. 이렇게 하면 소량의 레이블이 지정된 데이터를 사용하여 새로운 작업을 빠르게 획득하고 다양한 작업을 인식하는 능력을 얻을 수 있습니다.

[디시콘발사대(fcbjsjmu1t9f)]

[익명(220.72)]

르쿤추

[익명(122.32)]

[MoonChild(aowlr2001)]

[익명(landofooo)]

얀르 쿤!

[천사다천사(jjtheman999)]

[익명(219.249)]

걍 카이밍허 masked autoencoder 베리에이션 같은데 포장을 잘한느낌같음

[부패하는유전자!!!(sansss2015)]

그렇 쿤