[📪정보] MixRT: Mixed Neural Representations For

[특갤용(118wshxhtx5h)]

MixRT: Mixed Neural Representations For Real-Time NeRF Rendering

Georgia Tech

Meta

Abstract Neural Radiance Field (NeRF) has emerged as a leading technique for novel view synthesis, owing to its impressive photorealistic reconstruction and rendering capability. Nevertheless, achieving real-time NeRF rendering in large-scale scenes has presented challenges, often leading to the adoption of either intricate baked mesh representations with a substantial number of triangles or resource-intensive ray marching in baked representations. We challenge these conventions, observing that high-quality geometry, represented by meshes with substantial triangles, is not necessary for achieving photorealistic rendering quality. Consequently, we propose MixRT, a novel NeRF representation that includes a low-quality mesh, a view-dependent displacement map, and a compressed NeRF model. This design effectively harnesses the capabilities of existing graphics hardware, thus enabling real-time NeRF rendering on edge devices. Leveraging a highly-optimized WebGL-based rendering framework, our proposed MixRT attains real-time rendering speeds on edge devices (over 30 FPS at a resolution of 1280 x 720 on a MacBook M1 Pro laptop), better rendering quality (0.2 PSNR higher in indoor scenes of the Unbounded-360 datasets), and a smaller storage size (less than 80% compared to state-of-the-art methods).

신경 복사 필드(NeRF)는 놀라운 사실적 재구성 및 렌더링 능력으로 인해 새로운 시점 합성을 위한 주요 기술로 부상했습니다. 그럼에도 불구하고 대규모 장면에서 실시간 NeRF 렌더링을 달성하는 것은 도전이 되었으며, 이는 종종 상당한 수의 삼각형을 가진 복잡한 베이크 메시 표현 또는 베이크된 표현에서의 자원 집약적인 레이 마칭을 채택하도록 이끌었습니다. 우리는 이러한 관례에 도전하며, 상당한 삼각형을 가진 메시로 표현된 고품질 기하학이 사실적 렌더링 품질을 달성하기 위해 필요하지 않다는 것을 관찰했습니다. 따라서, 저품질 메시, 시점 의존적 변위 맵, 그리고 압축된 NeRF 모델을 포함하는 새로운 NeRF 표현인 MixRT를 제안합니다. 이 설계는 기존 그래픽 하드웨어의 능력을 효과적으로 활용하여 에지 장치에서 실시간 NeRF 렌더링을 가능하게 합니다. 최적화된 WebGL 기반 렌더링 프레임워크를 활용하여, 우리의 제안한 MixRT는 에지 장치에서 실시간 렌더링 속도(맥북 M1 Pro 노트북에서 1280 x 720 해상도에서 초당 30 프레임 이상)를 달성하고, 더 나은 렌더링 품질(비교적 향상된 PSNR)을 제공하며, 상태 기술 방법에 비해 저장 크기가 작습니다(80% 미만).

https://arxiv.org/abs/2312.11841

[익명(rechido)]