MOVIS: Enhancing Multi-Object Novel View Synthesis for Indoor Scenes

🔼 MOVIS는 입력 이미지와 상대적인 카메라 변화를 기반으로 새로운 시점 합성(NVS)을 수행합니다. 깊이 및 객체 마스크와 같은 구조 인식 기능이 추가 입력으로 활용되며, 객체 배치 학습을 보조하기 위해 보조 작업으로 마스크 예측을 사용합니다. 구조 기반 타임스텝 샘플링 스케줄러를 통해 전역 객체 배치와 국부적 세부 사항 복구 간의 학습 균형을 맞춥니다. 그림은 입력 이미지, 뷰, 깊이, 마스크, VAE, 노이즈 추가, UNet 디노이저, 투영, 예측된 뷰, 예측된 마스크 및 확산 훈련 목표를 포함한 MOVIS의 전체 아키텍처를 보여줍니다.

read the caption

Figure 2: Overview of MOVIS. Our model performs NVS from the input image and relative camera change. We introduce structure-aware features as additional inputs and employ mask prediction as an auxiliary task (Sec. 3.2). The model is trained with a structure-guided timestep sampling scheduler (Fig. 3) to balance the learning of global object placement and local detail recovery.

🔼 이 그림은 노이즈 제거 과정 중 다양한 timestep에서 예측된 이미지와 마스크 이미지를 시각화하여 timestep t가 전역 배치 정보와 국부적 세부 정보 학습의 균형을 맞추는 데 중요한 역할을 한다는 것을 보여줍니다. w/ shift로 훈련된 모델은 마스크 예측 성능이 더 뛰어나므로 더 자세하고 선명한 객체 경계를 가진 이미지를 복구합니다. 이는 노이즈 제거의 초기 단계에서는 전역 객체 배치 복원에 초점을 맞추고, 후기 단계에서는 객체 마스크 예측 및 세부적인 기하학적 구조와 외관 복구에 초점을 맞추는, 균형 잡힌 timestep 샘플링 스케줄러를 사용해야 할 필요성을 강조합니다. w/o shift는 μ 값을 이동하지 않는다는 의미입니다.

read the caption

Figure 3: Visualization of inference. The early stage of the denoising process focuses on restoring global object placements, while the prediction of object masks requires a relatively noiseless image to recover fine-grained geometry. This motivates us to seek a balanced timestep sampling scheduler during training. The model trained w/ shift yields better mask prediction and thus recovers an image with more details and sharp object boundary. The w/o shift here refers to not shifting the μ𝜇\muitalic_μ value.

🔼 이 그림은 MOVIS가 다양한 데이터셋에서 새로운 시점의 이미지를 생성하고, 입력 시점 이미지와 비교하여 정확한 객체 배치, 형태, 외관을 보여주는 것을 나타냅니다. 또한, 교차 시점 매칭에서 정확한 위치를 가진 더 많은 매칭 포인트를 달성하는 것을 보여줍니다.

read the caption

Figure 4: Qualitative results of NVS and cross-view matching. Our method generates plausible novel-view images across various datasets, surpassing baselines regarding object placement, shape, and appearance. In cross-view matching, points of the same color indicate correspondences between the input and target views. We achieve a higher number of matched points with more precise locations.

🔼 이 그림은 MOVIS 모델의 ablation study 결과를 보여줍니다. mask 예측이나 timestep scheduler를 제거하면 모델이 물체의 위치를 학습하는 능력이 저하되는 것을 갈색 캐비닛을 통해 확인할 수 있습니다. scheduler가 없으면 물체의 위치가 부정확해지고, 깊이 또는 마스크 입력을 제거하면 공간 관계와 물체 존재에 대한 모델의 이해도가 떨어집니다. 특히, 마스크 예측을 제외하거나 scheduler 없이 학습하면 갈색 캐비닛의 방향이 잘못 표현되는 것을 확인할 수 있는데, 이는 scheduler 없이는 모델이 초기 timestep의 denoising에 집중하여 마스크 이미지 복구와 세밀한 기하학적 형태 및 외관 개선에 대한 학습이 부족하기 때문입니다. 따라서 마스크 예측과 timestep scheduler는 객체 배치, 모양, 외관과 같은 구성적 구조 정보를 학습하는 데 중요한 역할을 합니다.

read the caption

Figure 5: Qualitative comparison for ablation study. Excluding mask predictions or the scheduler reduces the model’s ability to learn object placement, as shown by the brown cabinet example.

🔼 이 그림은 서로 다른 세 가지 타임스텝 샘플링 전략을 보여줍니다. KMS는 평균값을 상수로 유지하고, LIND는 급격히 감소한 후 선형적으로 증가하며, LDC는 선형적으로 감소합니다. x축은 학습 단계를, y축은 평균값을 나타냅니다.

read the caption

Figure S.6: Illustration of different timestep sampling strategies.

🔼 이 그림은 노이즈 타임스텝 샘플링 스케줄러 전략(KMS, LIND, LDC)을 변경하면서 예측된 이미지와 마스크 이미지를 시각적으로 비교하여 보여줍니다. KMS 전략으로 예측된 이미지는 이상하고 흐릿한 색상을 나타내는 반면 LDC 전략이 LIND보다 약간 더 나은 결과를 보여줍니다. 각 전략에 대한 정량적 평가 결과는 표 S.3에 제시되어 있으며, 이 그림은 그 결과를 보완하는 시각적 비교를 제공합니다.

read the caption

Figure S.7: Comparison of different strategies. The predicted images and mask images under novel views using different strategies are visualized. We can observe that images predicted by the KMS strategy possess weird and blurry color while LDC strategy seems to be slightly better than LIND.

🔼 이 그림은 MOVIS 모델과 기준 모델(Zero-1-to-3, Zero-1-to-3+, ZeroNVS)의 새로운 시점 합성(NVS) 결과를 Room-Texture, SUNRGB-D, 3D-FRONT 데이터셋에서 시각적으로 비교하여 보여줍니다. 각 데이터셋에서 입력 이미지, 타겟 이미지, 각 모델이 예측한 이미지, 그리고 예측된 마스크 이미지가 함께 제시됩니다. 그림에서 ‘N/A’로 표시된 부분은 해당 데이터셋에 마스크 정보가 없어서 마스크 이미지를 생성하지 못했음을 나타냅니다. 이 그림은 MOVIS 모델이 다양한 데이터셋에서 기준 모델보다 더 사실적이고 일관된 새로운 시점 이미지를 생성할 수 있음을 보여주는 데 사용됩니다.

read the caption

Figure S.8: Visualized comparison on Room-Texture [35], SUNRGB-D [49], and 3D-FRONT [14].

🔼 이 그림은 SUNRGB-D와 3D-FRONT 데이터셋에서 여러 객체로 구성된 장면에 대한 연속적인 회전으로 생성된 새로운 시점 이미지들을 보여줍니다. 카메라의 위치와 각도를 다양하게 바꾸면서 사실적인 이미지들을 생성할 수 있음을 보여주고, 상위 5개의 예시는 SUNRGB-D, 하위 3개의 예시는 3D-FRONT 데이터셋을 사용했습니다.

read the caption

Figure S.9: Continuous rotation examples on SUNRGB-D and 3D-FRONT. We rotate the camera around the multi-object composites, successfully synthesizing plausible novel-view images across a wide range of camera pose variations. This first five examples are from SUNRGB-D, and the last three examples are from 3D-FRONT.

🔼 이 그림은 3D-FRONT 및 SUNRGB-D 데이터셋에 대한 교차 뷰 매칭 결과를 시각화하여 보여줍니다. 실제 이미지와 예측된 이미지 간의 매칭 포인트를 시각화했으며, 정확한 매칭 결과를 통해 강력한 교차 뷰 일관성을 확인할 수 있습니다. 3D-FRONT와 SUNRGB-D의 경우 정답 이미지가 없기 때문에 예측된 이미지만 사용하여 교차 뷰 매칭 결과를 시각화했습니다.

read the caption

Figure S.10: Visualized cross-view matching results. Since we do not have ground truth image for 3D-FRONT and SUNRGB-D, we only visualize cross-view matching results using our predicted images. But we can still observe a strong cross-view consistency from the accurate matching results.

🔼 이 그림은 MOVIS 모델이 섬세한 구조나 질감을 가진 물체에 대해서는 세밀한 일관성을 학습하는 데 어려움을 겪는 실패 사례를 보여줍니다. 예를 들어 소파의 화려한 쿠션이나 의자의 가느다란 다리와 같은 부분은 모델이 학습하기 어려워합니다. 물체 배치는 대략적으로 정확하지만, 이러한 경우 세밀한 부분의 일관성은 이상적이지 않습니다. 고해상도 학습과 에피폴라 제약 조건을 통합하면 이 문제가 완화될 것으로 예상됩니다.

read the caption

Figure S.11: Failure Cases. It is hard for our model to learn extremely fine-grained consistency on objects with delicate structure and texture.

🔼 이 그림은 MOVIS 모델의 폐색 합성 기능을 보여줍니다. (a)에서는 소파와 캐비닛의 강조된 영역에서 볼 수 있듯이 새로운 시점에서 가려진 부분을 합성할 수 있습니다. 즉, 입력 시점에서는 가려져 보이지 않던 부분이 새로운 시점에서는 보이도록 합성할 수 있습니다. (b)에서는 의자의 강조된 영역에서 볼 수 있듯이 새로운 시점에서 가려진 물체의 부분을 복원할 수 있습니다. 즉, 입력 시점에서는 완전히 보이던 물체가 새로운 시점에서는 일부분이 가려지는 경우, 가려진 부분을 추론하여 합성할 수 있다는 것을 의미합니다. 이는 모델이 다중 객체의 배치 및 상호 작용을 어느 정도 이해하고 있음을 시사합니다.

read the caption

Figure S.12: Occlusion Synthesis Capability. Our proposed method can synthesize new occlusion relationship under novel views as shown in the highlighted area of sofa or cabinet in (a). Our method can also hallucinate occluded parts as shown in the highlighted area of chairs in (b).

🔼 이 그림은 객체 제거 기능을 보여줍니다. 예측된 마스크 이미지에 임계값을 설정하여 특정 객체를 제거할 수 있습니다. 입력 이미지와 예측된 이미지, 그리고 객체가 제거된 이미지를 비교하여 제거 기능이 어떻게 작동하는지 시각적으로 확인할 수 있습니다. 침대와 탁자를 각각 제거하는 두 가지 예시가 제시되어 있습니다.

read the caption

Figure S.13: Object Removal Example. We can remove an object under novel views by setting a threshold to the predicted mask image and delete corresponding pixels.

🔼 이 그림은 DUSt3R을 사용한 3D 재구성 결과를 보여줍니다. 여러 각도에서 예측된 이미지와 입력 뷰 이미지를 함께 사용하여 여러 개체로 구성된 장면을 재구성합니다. 주어진 입력 뷰 이미지와 여러 예측된 뷰 이미지를 사용하여 DUSt3R을 통해 장면의 3D 모델을 재구성합니다. 그림은 다양한 각도에서 렌더링된 재구성된 장면을 보여주며, 모델이 장면의 3D 구조를 이해하고 일관된 여러 뷰를 생성할 수 있음을 나타냅니다.

read the caption

Figure S.14: Reconstruction results using DUSt3R. We rotate our camera around the multi-object composite and use the predicted images along with the input-view image for reconstruction.

🔼 이 그림은 C3DFS 데이터셋에 대한 추가적인 시각화 결과를 보여줍니다. 입력 이미지, 예측된 이미지, 목표 이미지, 마스크 이미지가 순서대로 제시되어 있습니다. 이 그림은 모델이 다양한 입력 이미지에 대해 새로운 시점의 이미지와 마스크를 얼마나 잘 예측하는지 보여주는 데 사용됩니다.

read the caption

Figure S.15: More visualized results on C3DFS dataset.

🔼 C3DFS 데이터셋에서 다양한 ablation study에 대한 정량적 평가 결과를 표시합니다. 각 ablation study는 깊이 입력 제거 (w/o depth), 마스크 예측 보조 작업 제거 (w/o mask), 스케줄러 제거 (w/o sch.) 등 주요 구성 요소의 효과를 평가합니다. 각 설정에 대해 PSNR, SSIM, LPIPS 및 IoU를 포함한 새로운 뷰 합성 및 배치 품질 메트릭이 보고됩니다. 이 표는 각 구성 요소의 영향을 강조하여 모델 성능에 대한 기여도를 보여줍니다.

read the caption

Table 2: Ablation results on C3DFS.

🔼 이 표는 노이즈 타임스텝 샘플링 스케줄러 전략에 대한 ablation study 결과를 보여줍니다. 균일 샘플러(w/o sch.), KMS, LIND, LDC 네 가지 전략을 비교합니다. 노이즈 타임스텝 샘플링 전략을 통합하면 모델 성능이 크게 향상되며, 그 중 선형 감소(LDC) 전략이 가장 좋은 성능을 보입니다.

read the caption

Table S.3: Ablation on different strategies. Incorporating sampling strategies significantly improves the model performance, while the linear decline (LDC) achieves the best.

🔼 이 표는 다양한 데이터셋에서 깊이 맵과 마스크 조건의 사용 가능 여부를 보여줍니다. C3DFS, 3D-FRONT, Objaverse는 깊이 맵과 마스크 정보를 모두 제공하지만 Room-Texture와 SUNRGB-D는 제공하지 않습니다. 따라서 Room-Texture와 SUNRGB-D의 경우, 저자들은 DepthFM[15]과 SAM[23]을 사용하여 깊이 맵과 객체 마스크를 추출합니다. MOVIS는 입력 보기의 깊이 맵과 마스크 이미지를 추가 조건으로 사용합니다. 깊이 맵은 객체의 대략적인 상대적 위치와 모양을 인코딩하고, 마스크는 객체 배치 및 모양의 대략적인 개념을 제공할 뿐만 아니라 고유한 객체 인스턴스를 구별하는 데 사용됩니다.

read the caption

Table S.4: Availability of conditions in different datasets.

🔼 이 표는 다양한 데이터셋(C3DFS, Room-Texture, Objaverse)에서 저자들이 제안한 다중 객체 신규 시점 합성(NVS) 모델 MOVIS의 성능을 평가하고, 모델의 주요 구성 요소인 깊이 입력, 마스크 예측 보조 작업, 스케줄러의 효과를 검증하기 위해 수행한 절제 연구(ablation study) 결과를 보여줍니다. 각 데이터셋에 대해 원본 모델과 각 구성 요소를 제거한 변형 모델의 성능을 PSNR, SSIM, LPIPS, IoU, Hit Rate, Dist. 지표를 사용하여 비교합니다. 이를 통해 MOVIS 모델의 각 구성 요소가 성능에 미치는 영향을 분석하고, 다양한 데이터셋에 대한 일반화 능력을 평가합니다.

read the caption

Table S.5: Ablation study on various datasets.

🔼 이 표는 가려짐 정도가 다른 물체에 대한 평가 결과를 보여줍니다. 물체는 완전히 보이는 물체, 가려진 물체, 심하게 가려진 물체 세 가지로 분류됩니다. 각 카테고리에 대해 PSNR, SSIM, LPIPS 지표를 사용하여 Zero-1-to-3, Zero-1-to-3+, 그리고 제안된 방법(Ours)의 성능을 비교합니다.

read the caption

Table S.6: Evaluation on objects with varying extents of occlusion.