[📪정보] (메타AI) 초고속 3D 생성 모델

[초존도초(htr3c654r6ft)]

VGGT: 시각 기하학 기반 트랜스포머

왕지안위안, 첸밍하오, 니키타 카라예프,

안드레아 베달디, 크리스티안 루프레흐트, 데이비드 노보트니

옥스퍼드 대학교 시각 기하학 그룹, 메타 AI

IEEE/CVF 컴퓨터 비전 및 패턴 인식 학회 (CVPR) 2025  

논문 | 코드 | 데모

초록

우리는 VGGT라는 피드포워드 신경망을 소개합니다. 이 모델은 한 장, 몇 장, 또는 수백 장의 뷰로부터 장면의 모든 주요 3D 속성(카메라 매개변수, 포인트 맵, 깊이 맵, 3D 포인트 트랙 등)을 직접 추론합니다. 이는 3D 컴퓨터 비전 분야에서 한 걸음 나아간 접근법으로, 기존 모델들이 단일 작업에 국한되고 전문화되어 있던 한계를 넘어섭니다. 또한 이 방법은 간단하고 효율적이며, 1초 이내에 이미지를 재구성하면서도 시각 기하학 최적화 기법을 활용한 후처리 없이도 대안들을 능가합니다. 이 네트워크는 카메라 매개변수 추정, 다중 뷰 깊이 추정, 고밀도 포인트 클라우드 재구성, 포인트 추적 등 여러 3D 작업에서 최첨단 결과를 달성합니다. 또한 사전 학습된 VGGT를 특징 백본으로 사용하면 비강체 포인트 추적이나 피드포워드 방식의 새로운 뷰 합성과 같은 하위 작업을 크게 향상시킨다는 점도 보여줍니다.  

방법

VGGT는 먼저 DINO를 통해 입력 이미지를 토큰으로 패치화하고, 카메라 예측을 위해 카메라 토큰을 추가합니다. 이후 프레임별 자가 주의 층과 글로벌 자가 주의 층을 번갈아 적용합니다. 카메라 헤드는 카메라 외부 및 내부 매개변수에 대한 최종 예측을 수행하며, DPT 헤드는 깊이 맵, 포인트 맵, 추적을 위한 특징 맵 등 모든 고밀도 출력을 처리합니다.  

정성적 시각화

VGGT를 사용한 야외 사진/비디오 재구성. 아래 썸네일을 클릭하면 3D 재구성을 볼 수 있습니다.

테스트 링크

정성적 비교

VGGT는 다양한 작업에서 다른 모든 방법을 크게 앞섭니다. 정량적 결과는 논문을 참조해 주세요. 여기에서는 DUSt3R 및 MV-DUSt3R과 같은 동시 작업들과의 정성적 비교도 제공합니다.  

테스트 링크

감사의 글

왕지안위안은 페이스북 리서치의 지원을 받았습니다.  

우리는 스타니스와프 시마노비츠, 준위 시에, 요하네스 쇤베르거, 샹저 우, 촨샤 정, 준린 한, 앙 카오, 니킬 키타, 크리스 오프너, 샹잔 장, 위시 샤오, 첸첸 왕, 잉하오 쉬, 체위안 양, 난 쉐, 위준 셴, 로만 샤포발로프, 주앙 엔리케스, 앤드루 지서먼의 통찰력 있는 논의와 귀중한 지원에 깊이 감사드립니다.  

Depth-Anything-V2, Metric3D V2, MoGe, FLARE에서 제공한 훌륭한 사례에 감사드립니다.  

특히 지아닝 양, 앙 카오, 정강 탕, 위첸 판, 샹잔 장, 첸첸 왕에게 그들의 방법에 대한 결과 제공 및 검증에 감사드립니다.

[멘토스(gblzvhbddpj2)]

[ㅇㅇ 1(121.161)]

이걸로 팬티 볼 수 있나요?

[ㅇㅇ 3(61.79)]

하 파이팅

[천사다천사(jjtheman999)]

[ㅇㅇ 2(14.34)]

얼른 풀 3d 로드뷰가 나와서 이걸로 간접 여행 좀 해보고 싶다

[이세이미야케(jkwarawara)]

[AI네이티브(thor2018)]

[디시콘발사대(fcbjsjmu1t9f)]

[익명(hyeongim264)]

[익명(illililli)]

개추

[익명(211.63)]

ㅗㅜㅑ

[asi2026(dart5404)]