SplineGS: Robust Motion-Adaptive Spline for Real-Time Dynamic 3D Gaussians from Monocular Video

🔼 SplineGS는 두 단계 최적화(웜업 및 주 훈련 단계)를 사용하는 COLMAP 없는 동적 3DGS 프레임워크입니다. 움직이는 객체에 대한 동적 3D 가우시안의 변형을 모델링하기 위해, 3차 Hermite 스플라인 함수를 기반으로 하는 새로운 Motion-Adaptive Spline(MAS) 아키텍처를 활용합니다. MAS는 각 동적 3D 가우시안의 궤적을 정확하게 모델링하고 더 빠른 렌더링 속도를 달성하기 위해 학습 가능한 제어점 세트로 구성됩니다. 웜업 단계에서는 광도 및 기하학적 일관성을 사용하여 카메라 매개변수를 대략적으로 최적화합니다. 주 훈련 단계에서는 예측된 카메라 포즈를 기반으로 3D 가우시안을 초기화하고 3D 가우시안 속성과 카메라 매개변수 추정을 공동으로 최적화합니다.

read the caption

Figure 2: Overview of SplineGS. Our SplineGS leverages spline-based functions to model the deformation of dynamic 3D Gaussians with a novel Motion-Adaptive Spline (MAS) architecture. It is composed of sets of learnable control points based on a cubic Hermite spline function [2, 7] to accurately model the trajectory of each dynamic 3D Gaussian and to achieve faster rendering speed. To avoid any preprocessing of camera parameters, i.e. COLMAP-free, we adopt a two-stage optimization: warm-up and main training stages.

🔼 NVIDIA 데이터셋에서 새로운 시점 합성에 대한 시각적 비교입니다. 빨간색 상자로 강조된 것처럼 SplineGS는 기존 방법보다 더 높은 렌더링 품질과 더 사실적인 동적 객체를 생성합니다.

read the caption

Figure 3: Visual comparisons for novel view synthesis on the NVIDIA dataset.

🔼 이 그림은 DAVIS 데이터셋에서 SplineGS와 다른 최신 방법들(D3DGS, STGS, RoDynRF)의 새로운 시점 합성에 대한 정성적 비교를 보여줍니다. SplineGS는 콜맵(COLMAP)과 같은 외부 카메라 추정 도구를 사용하지 않는 콜맵 프리(COLMAP-free) 방식임에도 불구하고, 다른 방식들에 비해 더욱 사실적이고 디테일한 렌더링 결과를 보여줍니다. 특히, 빨간색 상자로 강조된 부분은 SplineGS가 동적 객체의 움직임을 더욱 정확하게 모델링하고, 더 높은 품질의 새로운 시점 이미지를 생성하는 것을 보여줍니다. D3DGS와 STGS는 COLMAP을 통해 얻은 카메라 파라미터를 사용하여 새로운 시점을 생성했지만, DAVIS 데이터셋에서는 COLMAP이 제대로 작동하지 않아 일관성 없는 결과를 보여줍니다. 반면 SplineGS는 COLMAP 없이도 안정적으로 카메라 파라미터를 추정하여 고품질의 새로운 시점 이미지를 생성합니다.

read the caption

Figure 4: Visual comparisons for novel view synthesis on the DAVIS dataset.

🔼 이 그림은 NVIDIA 데이터셋을 사용하여 SplineGS와 다른 NeRF 기반 및 3DGS 기반 방법의 새로운 뷰 및 시간 합성에 대한 시각적 비교를 보여줍니다. 빨간색 상자로 강조 표시된 것처럼 SplineGS는 보이지 않는 시간 인덱스에 대해서도 SOTA 렌더링 품질을 제공하며, 움직이는 물체를 사실적으로 렌더링하고 시간적 일관성을 향상시킵니다. 반면, 다른 방법들은 보이지 않는 시간 인덱스에서 아티팩트와 블러가 발생하는 등 성능이 저하됩니다.

read the caption

Figure 5: Visual comparisons for novel view and time synthesis on the NVIDIA dataset.

🔼 이 그림은 SplineGS, D3DGS [49], STGS [21]의 움직이는 3D 가우시안의 2D 픽셀 트랙을 시각화하여 보여줍니다. D3DGS와 STGS는 움직이는 객체에 대한 모션 트래킹이 부정확한 반면, SplineGS는 더 정확한 모션 트래킹 결과를 보여줍니다. 2D 픽셀 트랙은 시간에 따르는 객체의 움직임을 시각적으로 나타낸 것으로, SplineGS가 동적 장면에서 객체의 움직임을 더 잘 모델링하고 있음을 시사합니다.

read the caption

Figure 6: Visual comparisons for motion tracking. We visualize 2D pixel tracks to analyze motions of dynamic 3D Gaussians.

🔼 이 그림은 Motion-Adaptive Control Points Pruning (MACP) ablation study에 대한 시각적 비교를 보여줍니다. 저자들은 MLP, Grid 기반 모델, 3차 및 10차 다항식 함수, 베지어 곡선 등 다양한 변형 모델로 MAS 모델을 대체했습니다. 표 3-(a)는 렌더링 품질(PSNR, LPIPS) 및 Gaussian 당 변형 지연 시간(gdef)에 중점을 둔 각 3D Gaussian 궤적 모델에 대한 정량적 비교를 제시합니다. 표 3-(a)에서 볼 수 있듯이 MAS 모델은 다른 모든 변형 모델에 비해 우수한 렌더링 품질을 달성합니다. 이전 연구 [21, 46, 49]와 일치하게, MLP 및 그리드 기반 아키텍처는 렌더링에 상당한 계산 비용이 필요함을 알 수 있습니다. 이러한 방법 중 [21]에 구현된 ‘Poly (3rd)‘가 최상의 지연 시간을 보여줍니다. 그러나 고정 차수 다항식 함수는 다양한 동작 복잡도에 따라 유연성이 제한되어 렌더링 성능에 악영향을 미칩니다. 이를 더 자세히 살펴보기 위해 모델링 기능의 변화를 평가하기 위해 ‘Poly (10th)‘로 실험했습니다. 그러나 이 조정은 더 시끄러운 최적화와 효율성 감소로 이어지는데, ‘Poly (10th)‘의 높은 지수 변수가 수치 불안정성으로 이어지기 때문입니다. 베지어 곡선[8]은 두 번째로 좋은 렌더링 품질을 제공하지만 재귀적 계산 특성으로 인해 지연 시간은 MAS보다 높습니다. MACP 기술의 효과를 평가하기 위해 전체 MACP 모델을 고정된 두 개의 제어점 수(Nc = 4 및 Nc = Nf)를 가진 다른 모델 버전과 비교했습니다. 표 3-(c) 및 그림 7에서 볼 수 있듯이 MACP가 있는 SplineGS는 고정된 Nc를 가진 ablation 모델에 비해 렌더링 품질과 gdef 간에 좋은 절충안을 달성합니다. 모든 동적 3D Gaussian에 Nc = 4를 사용하면 MAS의 동작 모델링 용량이 제한되어 메트릭이 크게 낮아지고 동적 영역에 눈에 띄는 아티팩트가 발생합니다. 또한 과도한 Nc = Nf는 MAS 모듈의 렌더링 속도를 감소시키고 여전히 MACP가 있는 전체 모델에서 달성한 품질에 미치지 못하는데, 이는 동작 과적합 때문일 수 있습니다.

read the caption

Figure 7: Visual comparisons for MACP ablation study.

🔼 (a)는 모션 적응 스플라인(MAS)을 보여줍니다. MAS는 3D 가우시안의 궤적을 시간에 따라 효율적이고 정확하게 나타내기 위해 사용되는 방법입니다. 그림에서 스플라인 곡선(Spline Curve)은 시간에 따른 3D 가우시안의 움직임을 나타내며, 제어점(Control Points)은 스플라인 곡선의 모양을 결정하는 학습 가능한 매개변수입니다. 시간 t에서의 3D 가우시안의 위치 μ(t)는 제어점을 기반으로 하는 큐빅 허마이트 스플라인 함수 S(t,P)로 계산됩니다. 이를 통해 움직이는 객체의 부드럽고 연속적인 궤적을 효과적으로 모델링할 수 있습니다.

read the caption

(a) Motion-Adaptive Spline

🔼 이 그림은 SplineGS 아키텍처에 대한 손실 함수 ablation study 결과를 보여줍니다. Lpc, Lgc, Ld-pc, LM 손실 함수 없이 ablation study를 진행했고, 각각 PSNR(dB)과 LPIPS 값을 측정했습니다. 모든 ablation study는 NVIDIA 데이터셋에서 새로운 view synthesis 실험과 동일한 설정으로 진행되었습니다. 실험 결과, 모든 손실 함수를 사용했을 때가 가장 높은 PSNR과 가장 낮은 LPIPS 값을 보이며, 모든 손실 함수가 SplineGS 아키텍처에 중요한 역할을 한다는 것을 보여줍니다. 특히 Lpc 손실 없이는 PSNR 값이 크게 감소하며, 이는 카메라 파라미터 추정의 중요성을 나타냅니다. 다른 손실 함수들 또한 전반적인 렌더링 품질에 영향을 미치는 것을 확인할 수 있습니다.

read the caption

(b) Loss function

🔼 이 그림은 Motion-Adaptive Control points Pruning (MACP) 기법의 효과를 보여주는 ablation study 결과를 나타냅니다. 고정된 개수의 제어점을 사용하는 모델 (Nc=4, Nc=Nf)과 비교하여 MACP를 사용하는 SplineGS 모델이 렌더링 품질과 변형 지연 시간 (gdef) 사이에서 더 나은 균형을 이루는 것을 확인할 수 있습니다. 모든 동적 3D Gaussian에 대해 Nc=4를 사용하는 경우, MAS의 모션 모델링 능력이 제한되어 메트릭이 낮아지고 동적 영역에서 눈에 띄는 아티팩트가 발생합니다. 반대로, 과도한 Nc=Nf는 MAS 모듈의 렌더링 속도를 감소시키고, 모션 과적합으로 인해 MACP를 사용하는 전체 모델보다 품질이 떨어집니다. 결과적으로, 효율성과 표현 품질 사이의 균형을 위해서는 Nc를 신중하게 선택하는 것이 중요합니다.

read the caption

(c) Motion-Adaptive Control points Pruning

🔼 이 그림은 MACP(Motion-Adaptive Control Points Pruning)의 효과를 분석한 결과를 보여줍니다. (a)는 ‘Balloon2’와 ‘Skating’ 장면에 대해 동적 3D 가우시안의 평균 제어점 개수(Nc)를 히트맵으로 시각화한 것으로, 렌더링된 프레임과 함께 제시됩니다. 빨간색일수록 더 많은 제어점이 사용되었음을 나타냅니다. (b)는 두 장면에서 동적 3D 가우시안의 제어점 개수(Nc) 분포를 백분율(%)로 나타낸 히스토그램입니다. 그림에서 볼 수 있듯이, ‘Skating’처럼 움직임이 단순한 장면에서는 대부분의 동적 3D 가우시안의 궤적을 최소한의 Nc 값으로 표현할 수 있습니다. 반면, ‘Balloon2’는 더 복잡하고 다양한 움직임으로 인해 Nc 값이 더 넓게 분포되어 있습니다.

read the caption

Figure 8: Analysis of MACP’s Efficacy. (a) Ncsubscript𝑁𝑐N_{c}italic_N start_POSTSUBSCRIPT italic_c end_POSTSUBSCRIPT Heatmaps as the averaged Ncsubscript𝑁𝑐N_{c}italic_N start_POSTSUBSCRIPT italic_c end_POSTSUBSCRIPT values of dynamic 3D Gaussians and their corresponding rendered frames I^tsubscript^𝐼𝑡\hat{I}_{t}over^ start_ARG italic_I end_ARG start_POSTSUBSCRIPT italic_t end_POSTSUBSCRIPT for ‘Balloon2’ and ‘Skating’ scenes. (b) Histograms of the number of control points (Ncsubscript𝑁𝑐N_{c}italic_N start_POSTSUBSCRIPT italic_c end_POSTSUBSCRIPT) in percentages (%) of dynamic 3D Gaussians in two scenes.

🔼 이 그림은 MACP(Motion-Adaptive Control Points Pruning) 방법에 대한 절제 연구 결과를 보여줍니다. NVIDIA 데이터셋에서 novel view synthesis에 대해 다양한 pruning error threshold(ϵ) 값을 설정하여 SplineGS의 성능을 평가했습니다. 그래프의 x축은 pruning error threshold 값을 나타내고, 왼쪽 y축은 PSNR(dB) 값을, 오른쪽 y축은 dynamic 3D Gaussian의 control point 개수를 나타냅니다. 결과적으로, ϵ 값이 너무 작으면(0.2) control point pruning이 효과적으로 수행되지 않아 효율이 감소하고, ϵ 값이 너무 크면(5) pruning이 과도하게 수행되어 복잡한 움직임 궤적을 정확하게 나타낼 수 있는 control point 개수가 부족해집니다. 따라서 효율과 표현 품질 사이의 균형을 맞추기 위해 ϵ 값을 신중하게 선택하는 것이 중요합니다.

read the caption

Figure 9: Ablation study on MACP. We conduct an ablation study of our Motion-Adaptive Control points Pruning (MACP) method for novel view synthesis on the NVIDIA dataset [50] by adjusting the pruning error threshold ϵitalic-ϵ\epsilonitalic_ϵ. ‘PSNR (dB)’ and ‘# Ctrl. Pts.’ denote the average PSNR value and the average number of control points for dynamic 3D Gaussians after training, computed across all scenes, respectively.

🔼 이 그림은 SplineGS에서 동적 3D 가우시안 궤적을 새로운 뷰에 투영한 시각적 결과를 보여줍니다. 2D 트래킹 방법과 달리 SplineGS는 스플라인 기반 모션 모델링을 활용하여 시간 축을 따라 각 동적 3D 가우시안의 변형을 직접적으로 캡처하여 대상 novel view의 렌더링을 가능하게 합니다. 그림에서 보이는 3D 모션의 2D 시각화를 위해 각 동적 3D 가우시안의 궤적을 novel view의 2D 픽셀 공간에 투영합니다. SplineGS는 D3DGS [49] 및 STGS [21]와 비교하여 동적 영역을 더 효과적으로 렌더링하고 3D 가우시안 궤적의 시각화를 향상시킵니다. STGS [21]의 경우, 시간에 따라 움직이는 물체를 표현하기 위해 여러 3D 가우시안 세트의 불투명도를 조정하지만, SplineGS는 MAS를 통해 동적 3D 가우시안의 모션 궤적을 직접 모델링하여 더욱 합리적인 3D 궤적 추출을 가능하게 합니다.

read the caption

Figure 10: Visual results of dynamic 3D Gaussian trajectory projected to novel views for our SplineGS.

🔼 이 그림은 STGS [21] 모델을 사용하여 특정 시점에 새로운 뷰를 합성한 결과를 보여줍니다. (a)는 원래 시간에 따라 변하는 불투명도를 사용한 결과이고, (b)는 시간에 따라 변하지 않는 고정된 공간 불투명도를 사용한 결과입니다. 훈련 과정에서는 원래 시간에 따라 변하는 불투명도를 사용했습니다. 그림 (b)에서 볼 수 있듯이, 각 3D 가우시안의 불투명도를 시간에 따라 변하지 않는 값으로 설정하면 렌더링된 새로운 뷰 합성 결과에서 같은 움직이는 물체(예: 말 또는 낙하산)의 여러 인스턴스가 동시에 나타나는 것을 볼 수 있습니다. 이는 STGS [21]가 시간에 따라 움직이는 물체를 표현하기 위해 단일 3D 가우시안 세트의 공간적 3D 위치를 변형하는 대신, 서로 다른 3D 가우시안 세트의 불투명도를 시간적 불투명도 σi(t)를 통해 조정할 수 있음을 시사합니다. 이러한 접근 방식은 동적 렌더링 결과를 생성할 수 있지만 시간 축을 따라 3D 가우시안 궤적을 직접 추출할 수는 없습니다. 반대로, MAS를 사용하는 SplineGS는 동적 3D 가우시안의 움직임 궤적을 직접 모델링하여 더욱 합리적인 3D 궤적을 추출할 수 있습니다.

read the caption

Figure 11: Visual results of novel view synthesis at a specific time using the same STGS [21] models after optimization with (a) their original time-varying opacity and (b) time-independent spatial opacity, respectively. Please note that we use their original time-varying opacity during training.

🔼 이 그림은 SplineGS 모델의 한계점을 보여줍니다. 훈련 비디오 프레임이 흐릿한 경우, 디블러링(deblurring) 방법을 사용하지 않으면 모델이 선명한 렌더링을 효과적으로 재구성할 수 없습니다. 즉, 입력 영상의 품질이 낮으면 출력 영상의 품질 또한 낮아진다는 것을 의미합니다. SplineGS는 동적 장면 재구성을 위해 설계되었지만, 흐린 입력 프레임에 과적합될 수 있으며, 결과적으로 흐릿한 새로운 뷰가 생성될 수 있습니다.

read the caption

Figure 12: Limitations of our SplineGS. When the training video frame contains blurriness, our model cannot effectively reconstruct sharp renderings due to the absence of a deblurring method.

🔼 NVIDIA 데이터셋의 Jumping 장면에 대한 새로운 뷰 합성의 시각적 비교를 제공합니다. SplineGS(Ours)가 다른 방법(4DGS, Ex4DGS, D3DGS, STGS, DynNeRF, RoDynRF)보다 더 나은 시각적 품질을 생성하고 지면 실측(Ground Truth)에 더 가까운 것을 확인할 수 있습니다.

read the caption

Figure 13: Visual comparisons for novel view synthesis on the Jumping scene from the NVIDIA dataset.

🔼 이 그림은 NVIDIA 데이터셋의 ‘Playground’ 장면에 대한 새로운 뷰 합성의 시각적 비교를 보여줍니다. 4DGS, Ex4DGS, D3DGS, STGS, DynNeRF, RoDynRF, SplineGS(제안된 방법), 그리고 Ground Truth 이미지가 차례대로 제시되어 있습니다. 빨간색 상자는 각각의 방법이 생성한 novel view의 품질 차이를 강조 표시합니다. SplineGS는 다른 방법들과 비교했을 때 더 높은 품질과 더 사실적인 novel view를 생성하는 것을 확인할 수 있습니다.

read the caption

Figure 14: Visual comparisons for novel view synthesis on the Playground scene from the NVIDIA dataset.

🔼 NVIDIA 데이터셋의 Truck 장면에 대한 새로운 뷰 합성의 시각적 비교를 제공합니다. SplineGS(Ours)는 4DGS, Ex4DGS, D3DGS, STGS, DynNeRF, RoDynRF와 같은 다른 최첨단 방법과 비교하여 더 나은 시각적 품질을 달성합니다. 특히 트럭과 같이 움직이는 객체가 더 선명하고 사실적으로 렌더링됩니다.

read the caption

Figure 15: Visual comparisons for novel view synthesis on the Truck scene from the NVIDIA dataset.

🔼 이 그림은 NVIDIA 데이터셋의 Balloon2 장면에 대한 새로운 뷰 및 시간 합성의 시각적 비교를 보여줍니다. 4DGS, STGS, DynNeRF, RoDynRF 및 SplineGS(제안된 방법)의 결과가 Ground Truth와 비교됩니다. SplineGS는 다른 방법과 비교했을 때 움직이는 풍선과 배경 장면 모두에서 더 나은 시각적 품질과 정확한 움직임 표현을 보여줍니다.

read the caption

Figure 16: Visual comparisons for novel view and time synthesis on the Balloon2 scene from the NVIDIA dataset.

🔼 NVIDIA 데이터셋에서 novel view와 time synthesis에 대한 정량적 평가 결과를 비교합니다. DynNeRF, 4DGS, D3DGS, STGS는 COLMAP을 사용하고, RoDynRF와 SplineGS는 COLMAP을 사용하지 않습니다. PSNR, LPIPS, 그리고 out-of-focus blur를 측정하는 OF 지표를 사용하여 각 방법의 성능을 비교합니다. SplineGS는 다른 방법들에 비해 전반적으로 더 나은 성능을 보여줍니다.

read the caption

Table 2: Novel view and time synthesis evaluation on the NVIDIA dataset.

🔼 이 표는 논문에서 제안된 SplineGS 프레임워크의 구성 요소들을 제거(ablation)하여 각 구성 요소의 효과를 검증하는 실험 결과를 보여줍니다. 실험은 NVIDIA 데이터셋을 사용하여 새로운 뷰 합성(Novel View Synthesis) 환경에서 진행되었으며, Motion-Adaptive Spline (MAS), Loss function, Motion-Adaptive Control points Pruning (MACP)에 대한 ablation study를 포함합니다. 각 ablation study에서는 특정 구성 요소를 제거하거나 다른 방식으로 대체하여 SplineGS의 성능(PSNR, LPIPS, gdef)에 미치는 영향을 분석합니다.

read the caption

Table 3: Ablation studies. We ablate our framework and report the average results on the NVIDIA dataset with the same setting as Novel View Synthesis experiment in Sec. 5.1.

🔼 이 표는 각 모델의 메모리 사용량과 3D 가우시안 개수를 비교하여 SplineGS의 효율성을 보여줍니다. 메모리 사용량은 학습 후 모델의 크기를 나타내며, ‘# Gaussian (K)‘는 학습 후 3D 가우시안의 총 개수를 나타냅니다. SplineGS는 최고 수준의 렌더링 품질을 달성하면서 Ex4DGS 대비 약 1/10의 메모리 사용량만으로 효율적인 메모리 사용을 보여줍니다.

read the caption

Table 4: Memory footprint comparison results. ‘Memory footprint (MB)’ refers to the memory size of each trained model, while ‘# Gaussian (K)’ represents the total number of 3D Gaussians after training.