[📪정보] 마이크로소프트 새 논문, GPT4-V를 비디오로 확장

[익명(222.108)]

* PC는 디씨 렉으로 이미지 잘 안나올 수 있음 (좀 오래 기다리면 나옴)

우리는 GPT-4V의 기능을 비전, 오디오, 스피치 분야의 전문 도구와 결합하여 고급 비디오 이해를 촉진하는 통합 시스템인 MM-VID를 제시합니다. MM-VID는 긴 형식의 비디오로 인해 발생하는 문제와 한 시간 길이의 콘텐츠 내 추론 및 여러 에피소드에 걸친 스토리라인 파악과 같은 복잡한 작업을 해결하도록 설계되었습니다. MM-VID는 GPT-4V와 함께 비디오-스크립트 생성을 사용하여 다중 모드 요소를 긴 텍스트 스크립트로 기록합니다. 생성된 스크립트는 캐릭터 움직임, 행동, 표현 및 대화를 자세히 설명하여 LLM(대형 언어 모델)이 비디오 이해를 달성할 수 있는 길을 열어줍니다. 이를 통해 오디오 설명, 문자 식별, 다중 모드 높은 수준의 이해를 포함한 고급 기능이 가능해집니다. 실험 결과는 다양한 비디오 길이를 지닌 독특한 비디오 장르를 처리하는 데 있어 MM-VID의 효율성을 보여줍니다. 또한 비디오 게임 및 그래픽 사용자 인터페이스와 같은 대화형 환경에 적용할 때 그 잠재력을 보여줍니다.

아래는 사용 예시

더 자세히 보려면

아래 데모페이지 참고

https://multimodal-vid.github.io/

MM-Vid: Advancing Video Understanding with GPT-4V(ision)

[GEMINI(jslb1222)]

오 시잘 머야 - dc App

[익명(kanal)]

또 왔다 오늘의 신기술

[부패하는유전자!!!(sansss2015)]

[익명(218.155)]

슬슬 제미니 대응할 준비하누 ㅋㅋ

[MoonChild(aowlr2001)]

어어 - dc App

[익명(203.242)]

싹다 학습시켜

[ㅇㅋ(ijh2005)]

내친구 피카츄~~

[디시콘발사대(fcbjsjmu1t9f)]

[익명(222.238)]

진짜 게임 끝났다

[익명(116.36)]

영상이면 진짜 멀티모달의 끝판왕이네 ㅋㅋㅋㅋ

[익명(183.102)]

미쳤네 근데 서버 왠만큼 커야할듯