Wonderland: Navigating 3D Scenes from a Single Image

🔼 이 그림은 단일 이미지를 입력으로 받아 카메라 경로를 따라 3D 인식 비디오 잠재 공간을 생성하는 카메라 유도 비디오 확산 모델과, 이 잠재 공간을 활용하여 3D 장면을 구성하는 잠재 기반 대규모 재구성 모델(LaLRM)로 구성된 Wonderland 시스템의 개요를 보여줍니다. 비디오 확산 모델은 정확한 포즈 제어를 위해 이중 분기 카메라 조건화를 사용하고, LaLRM은 잠재 공간에서 작동하여 광범위하고 고품질의 3D 장면을 효율적으로 재구성합니다.

read the caption

Figure 2: Overview of Wonderland. Given a single image, a camera-guided video diffusion model follows the camera trajectory and generates a 3D-aware video latent, which is leveraged by the latent-based large reconstruction model to construct the 3D scene in a feed-forward manner. The video diffusion model involves dual-branch camera conditioning to fulfill precise pose control. The LaLRM operates in latent space and efficiently reconstructs a wide-scope and high-fidelity 3D scene.

🔼 이 그림은 카메라 경로가 주어진 비디오 생성에서 기존 방법들(MotionCtrl, VD3D, ViewCrafter)과 제안된 Wonderland 모델을 비교한 것입니다. 각 샘플의 14번째 프레임이 비교를 위해 표시되어 있으며, 첫 번째 열은 조건부 이미지와 카메라 경로(오른쪽 하단)를 보여줍니다. 파란색 경계 상자는 비교를 돕기 위한 참조 영역을 나타내고 주황색 경계 상자는 품질이 낮은 생성 결과를 강조합니다. 또한, 오른쪽 열에는 제안된 모델의 마지막 프레임이 표시됩니다. Wonderland 모델은 정확한 카메라 제어와 고품질의 광범위한 비디오 생성 측면에서 기존 방법들보다 우수한 성능을 보입니다.

read the caption

Figure 3: Qualitative comparison to prior arts in camera-guided video generation. The 14thsubscript14th14_{\mathrm{th}}14 start_POSTSUBSCRIPT roman_th end_POSTSUBSCRIPT frame in each sample is shown for comparison, with the first column displaying the conditional image and camera trajectory (bottom-right). Blue bounding boxes denote reference areas to assist comparison and orange bounding boxes highlight low-quality generations. We also show our last frames in the rightmost column. Our method outperforms the priors in both precise camera control and high-quality and wide-scope video generation.

🔼 이 그림은 단일 이미지에서 3D 장면을 생성하는 여러 가지 방법들을 질적으로 비교한 것입니다. 파란색 상자는 조건부 이미지에서 볼 수 있는 영역을, 노란색 상자는 품질이 낮은 영역을 보여줍니다. 제안된 접근 방식은 하나의 조건부 이미지에서 훨씬 더 높은 품질의 새로운 뷰를 생성합니다.

read the caption

Figure 4: Qualitative comparison for 3D scene generation. Blue bounding boxes show visible regions from conditional images and yellow bounding boxes show low-quality regions. Our approach generates much higher quality novel views from one conditional image.

🔼 이 그림은 실제 이미지를 입력으로 사용하여 ViewCrafter, WonderJourney와 저자들의 방법을 비교하여 야생에서 3D 장면 생성에 대한 질적 비교를 보여줍니다. ViewCrafter는 제한된 영역에서만 3D 장면을 생성할 수 있으며, 뷰 범위가 커지면 품질이 크게 저하됩니다. WonderJourney는 더 넓은 시야의 장면을 생성할 수 있지만 생성된 뷰는 흐릿하고 아티팩트가 포함되는 경향이 있습니다. 이와 대조적으로, 저자들의 방법은 높은 사실성을 유지하고 외관과 3D 기하학 모두에서 일관된 확장된 장면을 생성합니다.

read the caption

Figure 5: Comparison with ViewCrafter (left) and WonderJourney (right) for in-the-wild 3D scene generation from single input images.

🔼 이 그림은 Mip-NeRF 데이터셋을 사용하여 단일 입력 이미지에서 3D 장면을 생성하는 데 있어 ZeroNVS, Cat3D와 저희 방법을 비교한 것입니다. 각 장면에서 조건부 이미지(시작) 보기(위)와 시작 보기에서 약 120도 회전한 다른 보기(아래)의 두 가지 관점에서 렌더링을 보여줍니다. 조건부 이미지에 가까운 보기의 경우 저희 방법은 Cat3D와 유사한 렌더링 품질을 달성하며 ZeroNVS보다 눈에 띄게 뛰어납니다. 하지만 보기가 조건부 이미지에서 벗어남에 따라 Cat3D는 특히 배경에서 심한 블러링 현상이 나타납니다. 반대로 저희 방법은 더 선명한 텍스처, 더 선명한 디테일, 조건부 이미지와 더 높은 일관성을 가진 장면을 생성합니다.

read the caption

Figure 6: Comparison to ZeroNVS and Cat3D with Mip-Nerf dataset on 3D scene generation from single input images. For each scene, the conditional image is shown in the left-most column. We show renderings from two viewpoints, one at the conditional image (starting) view (upper) and another at around 120°-rotation from the starting view(lower).

🔼 이 그림은 사전 훈련된 비디오 생성 모델(윗줄)과 LoRA 모듈을 사용하여 정적 장면 데이터 세트에서 미세 조정된 모델(아랫줄) 간의 비디오 생성 결과를 비교한 것입니다. 결과는 LoRA를 갖춘 정적 장면 데이터 세트에서 모델을 미세 조정하면 시각적 품질 저하 없이 훨씬 더 정적인 장면이 생성됨을 보여줍니다.

read the caption

Figure A1: Comparison of video generations between the source model (upper row) and the model fine-tuned on static-scene datasets with LoRA modules (lower row). The results demonstrate that fine-tuning the model on static-scene datasets equipped with LoRA produces significantly more static scenes.

🔼 이 그림은 실제 환경 데이터셋을 사용하여 미세 조정된 잠재 재구성 모델과 사용하지 않은 모델의 3D 렌더링 성능 비교를 보여줍니다. 위쪽 행은 실제 환경 데이터셋 없이 미세 조정된 모델의 결과를, 아래쪽 행은 실제 환경 데이터셋으로 미세 조정된 모델의 결과를 나타냅니다. 실제 환경 데이터셋을 사용한 미세 조정이 일반화 성능을 향상시키는 것을 알 수 있습니다.

read the caption

Figure A2: Comparison of 3D rendering performance between latent reconstruction models fine-tuned without in-the-wild dataset (upper row) and with in-the-wild dataset (lower row). Involving in-the-wild datasets during fine-tuning improves the generalization capability.

🔼 이 그림은 이중 분기 카메라 유도 비디오 확산 모델의 훈련 파이프라인 구조를 보여줍니다. 비디오 잠재 공간에 무작위 노이즈가 추가되고 조건부 이미지가 특징 연결을 통해 노이즈가 있는 잠재 공간에 병합됩니다. 카메라 안내는 LoRA 분기(왼쪽)와 ControlNet 분기(오른쪽)로 통합됩니다. 단순화를 위해 텍스트 토큰, 확산 시간 임베딩, 위치 임베딩 및 일부 재구성 작업은 그림에서 생략되었습니다. 기본 확산 변환기에서 텍스트 토큰은 토큰 수 차원을 따라 시각적 토큰과 연결됩니다. 따라서 연결 또는 요소별 합계 전에 카메라 토큰에 제로 패딩을 적용하여 동일한 길이를 보장합니다. 기본적으로 SiLu를 활성화 함수로 사용합니다.

read the caption

Figure A3: Structure of Dual-branch Camera-guided Video Diffusion Model. We show the skeletons of the training pipeline, where random noise is added to the video latents. The conditional image is merged to the noisy latents via feature concatenation. The camera guidance is integrated with LoRA-branch (left) and ControlNet-branch (right). We ignore the text tokens, the diffusion time embeddings, the positional embeddings, and some reshaping operations for simplicity in the figure. In the foundation diffusion transformer, the text tokens are concatenated along number-of-token dimension with visual tokens. Thus we apply zero-padding to camera tokens to guarantee the same length before concatenation or element-wise sum. By default, we use SiLu as our activation function.

🔼 이 표는 단일 뷰 조건에서 3D 장면의 새로운 뷰 합성을 위해 다양한 벤치마크 데이터 세트에 대한 정량적 비교 결과를 보여줍니다. 즉, 단일 이미지 입력으로 여러 시점에서 렌더링된 새로운 뷰의 품질을 평가합니다. 품질 측정을 위해 LPIPS, PSNR, SSIM 지표를 사용하여 생성된 이미지를 ground truth 이미지와 비교합니다.

read the caption

Table 2: Quantitative comparison on various benchmark datasets for 3D scene novel view synthesis with single view condition.

🔼 논문에서 사용된 표기법에 대한 개요를 제공합니다. 소스 비디오 클립, 비디오에서 추출된 잠재 공간, 압축률, 카메라의 플뤼커 임베딩, 확산 시간 단계, 확산 노이즈 스케줄러 매개변수, 노이즈가 있는 비디오 잠재 공간, 확산 모델, 확산 모델의 시퀀스로서의 시각적 토큰, 확산 모델의 시퀀스로서의 카메라 토큰, ControlNet 브랜치의 변환기 블록 수, LaLRM에 적용된 z에 대한 공간적 패치 크기, LaLRM의 시퀀스로서의 시각적 잠재 토큰, LaLRM의 시각적 잠재 토큰 수, LaLRM의 시퀀스로서의 카메라 토큰, LaLRM의 감독 뷰 수, LaLRM의 가우시안 특징 맵을 포함한 다양한 표기법에 대한 설명을 제공합니다.

read the caption

Table A1: Overview of the notations used in the paper.

🔼 이 표는 카메라 기반 비디오 생성 모델의 아키텍처 설계에 대한 분석 결과를 보여줍니다. RealEstate10K 데이터셋으로 학습된 모델들의 시각적 품질(FID, FVD)과 포즈 제어 정확도(회전 오차, 변환 오차)를 측정했습니다. 표의 첫 번째 섹션은 본 논문의 표 1에서 가져왔습니다.

read the caption

Table A2: Analysis on architecture designs in camera-guided video generation model. We report the performance for visual quality (FID and FVD) and pose control precision (Rerrsubscript𝑅errR_{\text{err}}italic_R start_POSTSUBSCRIPT err end_POSTSUBSCRIPT and Terrsubscript𝑇errT_{\text{err}}italic_T start_POSTSUBSCRIPT err end_POSTSUBSCRIPT) from models trained on RealEstate10K dataset. The first section of the table is adopted from Tab.1 in the main paper.

🔼 이 표는 사전 훈련된 LaLRM을 자체 생성된 실제 환경 데이터셋을 사용하여 추가로 미세 조정한 결과를 보여줍니다. LaLRM-은 실제 환경 데이터셋 없이 미세 조정된 모델이며, LaLRM은 실제 환경 데이터셋으로 미세 조정된 모델입니다. 표에서 LaLRM이 LaLRM-보다 다양한 벤치마크 데이터셋에서 더 나은 성능을 보이는 것을 알 수 있습니다. 이는 실제 환경 데이터셋을 사용한 추가 미세 조정이 LaLRM의 일반화 기능을 향상시킨다는 것을 보여줍니다. 즉, 보다 다양한 장면에서 더 나은 3D 장면 생성 성능을 보입니다.

read the caption

Table A3: Analysis on involving in-the-wild dataset to fine-tune LaLRM. We report the performance on various benchmark datasets for novel view synthesis of 3D scenes, which are built from single view condition.