Large Motion Video Autoencoding with Cross-modal Video VAE

🔼 그림 2는 제안된 최적의 시공간 모델링과 다른 두 가지 방법(동시 모델링 및 순차 모델링)을 비교한 것입니다. 동시 모델링은 사전 훈련된 2D 공간 VAE를 3D VAE로 확장하여 수행됩니다. 순차 모델링은 먼저 공간 인코더를 사용하여 공간 차원을 압축한 다음, 시간 인코더를 사용하여 시간 정보를 압축하는 것을 나타냅니다. 이 그림에서는 두 가지 방법의 문제점을 파악하고, 두 방법의 장점을 결합하여 비디오 재구성 품질을 크게 향상시키는 새로운 방법을 제안합니다. 또한, 제안된 VAE는 텍스트 정보와 같은 교차 모드 정보를 활용하여 성능을 더욱 향상시킵니다.

read the caption

Figure 2: Comparison of our optimal spatiotemporal modeling and the two other options. Simultaneous modeling is achieved by inflating pre-trained 2D spatial VAE to 3D VAE. Sequential modeling indicates first compressing the spatial dimension with a spatial encoder and then compressing the temporal information with a temporal encoder. We identify the issues of these two options and propose to combine both advantages and achieve a much better video reconstruction quality. Our VAE also benefits from cross-modality, i.e., text information.

🔼 그림 3은 제안된 시간 인식 공간 자동 인코더의 구조를 보여줍니다. 기존의 2D 합성곱(SD VAE [25] 참조)을 3D 합성곱으로 확장하고, 확장된 3D 합성곱 이후에 추가적인 3D 합성곱을 시간적 합성곱으로 추가하여 STBlock3D를 구성합니다. 또한, 텍스트 조건부 학습을 위해 크로스 어텐션 레이어를 추가했습니다. 이는 공간적 특징과 시간적 특징을 동시에 고려하고, 텍스트 정보를 활용하여 더욱 정확한 비디오 인코딩을 수행하기 위함입니다. 자동 인코더는 입력 비디오를 먼저 시간 인식 공간 인코더를 통해 처리하여, 공간 및 시간 정보를 효과적으로 압축된 특징으로 변환합니다. 이후, 시간적 자동 인코더가 시간적 중복성을 제거하여 최종 잠재 벡터를 생성합니다. 해당 잠재 벡터는 시간 인식 공간 디코더를 거쳐 원본 비디오를 재구성합니다. 이러한 과정에서 크로스 어텐션은 텍스트 정보를 활용하여 공간 및 시간적 특징을 보완하고, 재구성의 정확도를 높입니다.

read the caption

Figure 3: The architecture of our temporal-aware spatial autoencoder. We expand the 2D convolution of SD VAE [25] to 3D convolution and append one additional 3D convolution as temporal convolution after the expanded 3D convolution, which forms the STBlock3D. We also inject the cross-attention layers for cross-modal learning with textual conditions.

🔼 그림 4는 동시 공간-시간 모델링, 순차적 공간-시간 모델링 및 제안된 방법의 비교 결과를 보여줍니다. 세 가지 방법 모두 동일한 비디오 데이터셋에 적용되었으며, 재구성된 비디오의 화질과 모션 정확도를 시각적으로 비교하여 각 방법의 장단점을 보여줍니다. 특히, 큰 움직임이 있는 영상에서 제안된 방법이 다른 두 방법보다 우수한 성능을 보이는 것을 확인할 수 있습니다.

read the caption

Figure 4: Comparisons among simultaneous spatiotemporal modeling, sequential spatiotemporal modeling and our proposed solution.

🔼 그림 5는 제안된 모델에서 크로스-모달 학습의 효과를 보여줍니다. 텍스트 정보를 추가함으로써 세부적인 부분의 복원 능력이 향상되는 것을 확인할 수 있습니다. 그림에서는 입력 프롬프트의 키워드를 사용하여 학습된 어텐션 맵을 시각화하여 어떤 부분에 어텐션을 더 기울였는지 보여줍니다. 왼쪽 열은 기준(Ground Truth) 영상을, 가운데 열은 텍스트 정보 없이 생성된 영상을, 오른쪽 열은 텍스트 정보를 활용하여 생성된 영상을 보여줍니다. 어텐션 맵은 모델이 입력 텍스트에 따라 영상의 어떤 부분에 집중했는지 보여주는 시각적 표현입니다.

read the caption

Figure 5: The effectiveness of the cross-modal learning for our video VAE. The introduction of textural information improves the detail recovery. We visualize the learned attention map using keywords of the input prompts.

🔼 그림 6은 논문의 3.4절 ‘Joint Image and Video Compression’에서 설명하는 이미지와 비디오의 결합 학습의 효과를 보여줍니다. 이미지만을 사용하여 학습한 모델과 이미지와 비디오를 결합하여 학습한 모델의 결과를 비교하여, 결합 학습을 통해 이미지와 비디오 재구성 품질이 모두 향상됨을 시각적으로 보여줍니다. 특히, 고해상도 이미지 데이터를 함께 학습시킴으로써 비디오의 재구성 품질이 향상되는 것을 보여줍니다.

read the caption

Figure 6: The effectiveness of joint image and video training.

🔼 표 2는 이미지 재구성 성능에 대한 실험 결과를 보여줍니다. ‘JT*‘는 이미지와 비디오를 함께 학습시킨(Joint Training) 모델을 의미하며, 이 표는 이미지만 학습한 모델과 이미지와 비디오를 함께 학습한 모델의 성능을 비교하여 제안하는 방법의 효과를 보여줍니다. PSNR, SSIM, LPIPS 세 가지 지표를 사용하여 이미지 재구성 품질을 정량적으로 평가했습니다. 채널 수(4 또는 16)에 따른 성능 변화도 확인할 수 있습니다.

read the caption

Table 2: JT∗ means joint training. We evaluate image reconstruction performance w/ or w/o our joint image-video training strategy.

Model	PSNR ()	SSIM ()	LPIPS ()
Simultaneous	24.0593	0.7315	0.1293
Sequential	23.3681	0.6917	0.1481
Ours	24.6722	0.7234	0.1162

🔼 표 3은 논문의 실험 결과 중 하나로, 대규모 움직임이 있는 비디오 데이터셋(Large Motion Test Set)을 사용하여 세 가지 서로 다른 공간-시간 모델링 방법(동시 모델링, 순차 모델링, 제안된 모델)의 성능을 비교 분석한 결과를 보여줍니다. 각 모델의 PSNR, SSIM, LPIPS 값을 비교하여 제안된 모델의 우수성을 확인합니다. 제안된 모델은 동시 및 순차 모델링의 장점을 결합하여 성능 향상을 이끌어냈음을 보여줍니다.

read the caption

Table 3: Ablation study comparing simultaneous modeling, sequential modeling, and ours on the large-motion test set.

Model / Kernel Size	PSNR ()	SSIM ()	LPIPS ()
Image GAN Loss	31.9133	0.9071	0.0436
Video GAN Loss	32.0262	0.9089	0.0426
TemporalConv(3, 1, 1)	30.3332	0.8898	0.0489
TemporalConv(5, 1, 1)	30.8745	0.9004	0.0475
TemporalConv(7, 1, 1)	31.2922	0.9025	0.0458
TemporalConv(5, 3, 3)	31.3516	0.9011	0.0437
TemporalConv(7, 3, 3)	31.7444	0.9074	0.0436

🔼 표 4는 시간 인식 공간 자동 인코더에 이미지/비디오 GAN 손실 및 다양한 커널 크기를 적용한 실험 결과를 보여줍니다. 자세히는, 시간 인식 공간 자동 인코더에 이미지 GAN 손실과 비디오 GAN 손실을 각각 적용했을 때의 성능 차이를 보여주는 실험과, 다양한 크기의 커널을 가진 시간적 합성곱 층을 사용했을 때의 결과를 비교 분석하여 최적의 커널 크기를 제시합니다. 이를 통해 시간적 합성곱 층의 커널 크기가 모델 성능에 미치는 영향과 GAN 손실의 유형에 따른 성능 변화를 분석합니다.

read the caption

Table 4: Ablation study comparing temporal-aware spatial autoencoder with image/video GAN loss, and different kernel sizes.