[📪정보] Text-Conditioned Resampler For Long Form

[특갤용(118wshxhtx5h)]

Text-Conditioned Resampler For Long Form Video Understanding

University of Oxford

Google

Google DeepMind

TU Munich

Abstract
Videos are highly redundant data source and it is often enough to identify a few key moments to solve any given task. In this paper, we present a text-conditioned video resampler (TCR) module that uses a pre-trained and frozen visual encoder and large language model (LLM) to process long video sequences for a task. TCR localises relevant visual features from the video given a text condition and provides them to a LLM to generate a text response. Due to its lightweight design and use of cross-attention, TCR can process more than 100 frames at a time allowing the model to use much longer chunks of video than earlier works. We make the following contributions: (i) we design a transformer-based sampling architecture that can process long videos conditioned on a task, together with a training method that enables it to bridge pre-trained visual and language models; (ii) we empirically validate its efficacy on a wide variety of evaluation tasks, and set a new state-of-the-art on NextQA, EgoSchema, and the EGO4D-LTA challenge; and (iii) we determine tasks which require longer video contexts and that can thus be used effectively for further evaluation of long-range video models.

비디오는 고도로 중복된 데이터 소스이며, 주어진 작업을 해결하기 위해 몇 가지 핵심 순간을 식별하는 것만으로 종종 충분합니다. 이 논문에서, 우리는 긴 비디오 시퀀스를 작업에 맞게 처리하기 위해 사전 훈련된 비주얼 인코더와 대규모 언어 모델(LLM)을 사용하는 텍스트 조건부 비디오 리샘플러(TCR) 모듈을 제시합니다. TCR은 텍스트 조건이 주어진 비디오에서 관련 비주얼 특징을 찾아내고, 이를 LLM에 제공하여 텍스트 응답을 생성합니다. 가벼운 설계와 크로스 어텐션의 사용으로 인해, TCR은 한 번에 100개 이상의 프레임을 처리할 수 있으며, 이는 이전 작업들보다 훨씬 긴 비디오 조각을 사용할 수 있게 합니다. 우리는 다음과 같은 기여를 합니다: (i) 작업에 따라 긴 비디오를 처리할 수 있는 트랜스포머 기반 샘플링 아키텍처를 설계하고, 사전 훈련된 비주얼 및 언어 모델 간의 연결을 가능하게 하는 훈련 방법을 제공합니다; (ii) 다양한 평가 작업에서 그 효과를 실증적으로 검증하고, NextQA, EgoSchema, EGO4D-LTA 챌린지에서 새로운 최고 기록을 세웁니다; 그리고 (iii) 더 긴 비디오 컨텍스트를 필요로 하고 따라서 장거리 비디오 모델의 추가 평가에 효과적으로 사용될 수 있는 작업을 결정합니다.

https://arxiv.org/abs/2312.11897

[디시콘발사대(fcbjsjmu1t9f)]

[익명(rechido)]