VidTwin: Video VAE with Decoupled Structure and Dynamics

🔼 그림 2는 VidTwin 모델의 상세 구조를 보여줍니다. 인코더(Encoder)에서 추출된 잠재 벡터 z에서부터 두 가지 흐름(Structure Latent과 Dynamics Latent 추출 모듈)으로 나뉩니다. Structure Latent 추출 모듈 (ℱS)은 Q-Former와 합성곱 신경망으로 구성되어 Structure Latent (zS)를 추출합니다. Dynamics Latent 추출 모듈 (ℱD)은 합성곱 신경망과 평균화 연산자로 구성되어 Dynamics Latent (zD)를 추출합니다. 마지막으로 디코더(Decoder)에 입력하기 전에, 모든 잠재 벡터들을 같은 차원으로 정렬하고 결합합니다. 이 그림은 VidTwin 모델이 어떻게 영상 데이터를 구조와 역동성이라는 두 개의 독립적인 잠재 공간으로 분리하고, 이들을 효율적으로 결합하여 원본 영상을 재구성하는지 보여줍니다.

read the caption

Figure 2: Details of our model. After obtaining the latent z𝑧zitalic_z from the Encoder, the process branches into two flows. The Structure Latent extraction module, ℱ𝑺subscriptℱ𝑺\mathcal{F}_{\boldsymbol{S}}caligraphic_F start_POSTSUBSCRIPT bold_italic_S end_POSTSUBSCRIPT, which consists of a Q-Former and convolutional networks, extracts the Structure Latent component z𝑺subscript𝑧𝑺z_{\boldsymbol{S}}italic_z start_POSTSUBSCRIPT bold_italic_S end_POSTSUBSCRIPT. The Dynamics Latent extraction module, ℱ𝑫subscriptℱ𝑫\mathcal{F}_{\boldsymbol{D}}caligraphic_F start_POSTSUBSCRIPT bold_italic_D end_POSTSUBSCRIPT, comprising convolutional networks and an averaging operator, extracts the Dynamics Latent component z𝑫subscript𝑧𝑫z_{\boldsymbol{D}}italic_z start_POSTSUBSCRIPT bold_italic_D end_POSTSUBSCRIPT. Finally, using the decoding module, we align all latents to the same dimension and combine them before passing them into the Decoder.

🔼 그림 3은 제안된 VidTwin 모델과 기존 비디오 재구성 방법들의 성능을 정성적으로 비교한 것입니다. 서서히 회전하는 사진과 빠른 동작의 권투 장면이라는 두 가지 예시를 통해 비교 분석을 진행했습니다. VidTwin은 미세한 디테일을 재구성하고 빠른 움직임을 정확하게 포착하는 능력을 보여줍니다. 특히, 빠르게 움직이는 물체의 잔상이나 흐릿함 없이 선명하게 재구성하는 VidTwin의 우수성을 확인할 수 있습니다. 이는 VidTwin 모델이 구조와 동적인 움직임을 분리하여 표현하는 설계 덕분에 가능합니다.

read the caption

Figure 3: Qualitative comparison with baseline methods. Two examples are presented: a gradually rotating photo and a fast-motion boxing scene. \modelnamedemonstrates the ability to reconstruct fine details and accurately capture rapid motion.

🔼 그림 4는 비디오의 구조적 요소와 동적 요소를 분리하여 표현하는 VidTwin 모델의 기능을 보여주는 예시입니다. 비디오 A의 구조적 요소(Structure Latent)와 비디오 B의 동적 요소(Dynamics Latent)를 결합하여 새로운 비디오 C를 생성하는 과정을 보여줍니다. 이를 통해 VidTwin 모델이 비디오의 구조와 동작을 독립적으로 추출하고 조합하여 새로운 비디오를 생성할 수 있음을 시각적으로 보여줍니다. 구조적 요소는 비디오의 주요 내용과 전반적인 움직임을, 동적 요소는 세부적인 디테일과 빠른 움직임을 담당합니다.

read the caption

Figure 4: An illustration of a cross-replacement example, where Video C is generated using the Structure Latent from Video A and the Dynamics Latent from Video B.

🔼 그림 5는 본 논문에서 제안하는 VidTwin 모델과 기존 비교 대상 모델들에 대해 통합된 생성 모델을 적용했을 때의 FLOPs(연산량)와 학습 메모리 사용량을 비교한 그래프입니다. VidTwin 모델은 기존 모델들에 비해 훨씬 적은 연산량과 메모리로도 동등하거나 더 나은 성능을 달성함을 보여줍니다. 이는 VidTwin 모델의 효율적인 설계와 압축된 잠재 공간 표현 덕분입니다. 세부적으로는 각 모델의 FLOPs와 메모리 사용량을 막대 그래프 형태로 시각화하여 비교 분석합니다. 이를 통해 VidTwin 모델의 계산 효율성과 자원 효율성을 명확하게 제시합니다.

read the caption

Figure 5: We present the FLOPs and training memory costs of the unified generative model, as applied to our model and the baselines.

🔼 그림 6은 제안된 VidTwin 모델과 기존 기법들의 비디오 재구성 결과를 비교한 추가적인 예시입니다. 그림에는 다양한 유형의 비디오 시퀀스가 포함되어 있으며, VidTwin 모델이 세부적인 부분까지 정확하게 재구성하고 빠른 움직임도 잘 포착하는 것을 보여줍니다. 기존 방법들과 비교하여 VidTwin 모델의 우수성을 시각적으로 확인할 수 있도록, 확대하여 자세히 관찰할 것을 권장합니다.

read the caption

Figure 6: Additional reconstruction cases comparing our \modelnamemodel with baselines. Zoom in to observe finer details.

🔼 그림 7은 VidTwin 모델의 핵심 개념인 구조잠재변수(Structure Latent)와 동역학잠재변수(Dynamics Latent)의 분리를 보다 자세히 보여주는 추가적인 예시입니다. 각 열은 원본 영상(Orig.), VidTwin 모델로 재구성한 영상(Recon.), 구조잠재변수만을 사용하여 재구성한 영상(S. Recon.), 동역학잠재변수만을 사용하여 재구성한 영상(D. Recon.)을 순서대로 보여줍니다. 이를 통해 각 잠재변수가 영상의 어떤 부분을 담당하는지, 그리고 두 잠재변수가 어떻게 결합하여 원본 영상을 재구성하는지를 시각적으로 이해할 수 있습니다. 특히, 빠르게 움직이는 물체나 세세한 디테일이 있는 영상에서 구조잠재변수와 동역학잠재변수가 어떻게 서로 다른 정보를 담당하는지 확인할 수 있습니다.

read the caption

Figure 7: Additional examples of decoupling Structure Latent and Dynamics Latent.

🔼 그림 8은 비디오의 구조적잠재변수와 동적잠재변수를 분리하여 사용하는 VidTwin 모델의 능력을 보여주는 추가적인 교차 재구성(cross-reenactment) 예시입니다. 구조적잠재변수는 비디오의 주요 객체와 전체적인 움직임 경향을 나타내고, 동적잠재변수는 세부적인 내용과 빠른 움직임을 포착합니다. 각각의 비디오 A와 B에서 추출한 구조적잠재변수와 동적잠재변수를 조합하여 새로운 비디오 C를 생성하는 실험을 통해, VidTwin 모델이 각 잠재변수가 비디오 내용에 미치는 영향을 효과적으로 분리하고 제어할 수 있음을 보여줍니다.

read the caption

Figure 8: Additional examples of cross-reenactment.

🔼 표 2는 UCF-101 데이터셋을 기반으로 제안된 VidTwin 모델과 기존 비교 대상 모델들의 비디오 생성 성능을 정량적으로 비교한 표입니다. FVD(Fréchet Video Distance) 지표를 사용하여 각 모델의 생성 비디오의 품질을 측정했습니다. 낮은 FVD 값은 더 높은 품질의 생성 비디오를 나타냅니다. 이 표는 VidTwin 모델이 기존 방법들에 비해 우수한 비디오 생성 성능을 보여줌을 보여줍니다.

read the caption

Table 2: The generative ability of our model and the baselines, as tested on UCF-101.

🔼 표 3은 제안된 기법에 대한 ablation study 결과를 보여줍니다. 각 열은 제안된 VidTwin 모델에서 특정 구성 요소를 제거했을 때의 성능 변화를 보여줍니다. (a)는 전체 모델에서 잠재 변수 분리(disentanglement)를 제거한 경우, (b)는 동적 잠재 변수 평균화(D. Latent Avg.)를 제거한 경우, (c)는 구조적 잠재 변수 추출에서 Q-former를 제거한 경우, (d)는 구조적 잠재 변수 추출에서 공간적 다운샘플링(S. Latent Move Spa.)을 제거한 경우의 결과를 각각 보여줍니다. PSNR과 SSIM 지표를 사용하여 재구성 성능을 평가했습니다. 이를 통해 각 구성요소의 효과와 VidTwin 모델의 성능에 대한 기여도를 정량적으로 분석합니다.

read the caption

Table 3: Ablation studies on the proposed techniques.

🔼 표 4는 논문에서 제시된 VidTwin 모델의 성능을 다양한 크기(scale)로 비교 분석한 결과를 보여줍니다. VidTwin 모델의 크기는 매개변수(parameter)의 수에 따라 small, base, large 세 가지로 나뉘며 각 크기에 대한 설정값(depth, number of heads, hidden dimension, number of parameters)과 성능 지표(PSNR, SSIM)가 제시되어 있습니다. 이 표를 통해 모델 크기 변화에 따른 성능 변화를 확인하고, 효율성과 성능 간의 균형을 분석하는 데 도움이 됩니다.

read the caption

Table 4: Settings and performance of \modelnameat different scales.

🔼 표 5는 VidTwin 모델의 성능에 영향을 미치는 두 가지 잠재 벡터, 구조 잠재 벡터와 역동 잠재 벡터의 크기를 결정하는 데 사용되는 권장 설정값들을 보여줍니다. 구조 잠재 벡터는 크기 (hs, ws, nq, ds)로 표현되며, 여기서 hs와 ws는 각각 높이와 너비 차원의 크기를 나타내고, nq는 질의 토큰의 개수를, ds는 채널 차원의 크기를 나타냅니다. 역동 잠재 벡터는 (hD, WD, dp)로 표현되며, hD와 WD는 높이와 너비를, dp는 채널 차원의 크기를 나타냅니다. 이 표는 세 가지 서로 다른 설정(Setting 1, 2, 3)에 대한 각 차원의 권장 크기를 제시하여 사용자가 모델의 성능과 계산 비용 사이의 균형을 맞출 수 있도록 돕습니다.

read the caption

Table 5: Recommended settings for latent sizes.

🔼 표 6은 VidTwin 모델 학습에 사용된 다양한 하이퍼파라미터 및 설정 값들을 보여줍니다. 입력 비디오의 해상도, 프레임 수, FPS, 최적화 알고리즘, 학습률, 웨이트 감쇠, 배치 크기, 그리고 사용된 GPU 등 모델 학습 과정에 영향을 미치는 중요한 세부 사항들이 포함되어 있습니다. 이 정보는 VidTwin 모델 재현 및 실험 결과 재현을 위해 필수적입니다.

read the caption

Table 6: Training Configuration