VidTok: A Versatile and Open-Source Video Tokenizer

🔼 그림 2는 비디오 토크나이저의 개요를 보여줍니다. 입력 비디오는 인코더에 의해 압축된 잠재 공간(latent space)의 토큰으로 변환됩니다. 이 잠재 공간에서는 정규화(regularization)가 적용되어 과적합을 방지하고 새로운 데이터 생성 능력을 향상시킵니다. 잠재 토큰은 디코더에 의해 원본 비디오로 재구성됩니다. 토큰은 연속적(continuous)이거나 이산적(discrete)일 수 있으며, 이는 인코더-디코더 아키텍처의 설계에 영향을 미칩니다. 이 그림은 비디오 토크나이저의 일반적인 아키텍처를 간략하게 시각적으로 보여주는 개념도입니다.

read the caption

Figure 2: An overview of video tokenizers.

🔼 그림 3은 논문에서 제안하는 향상된 모델 아키텍처를 보여줍니다. 이 그림은 비디오 토크나이저의 인코더와 디코더를 포함한 전체 구조를 보여주는 상세한 다이어그램입니다. 특히, 입력 비디오의 시간적 및 공간적 차원을 처리하는 방법과 여러 컨볼루션 블록(3D, 2D+1D) 및 AlphaBlender 연산자를 활용하는 방식을 보여줍니다. 입력 비디오의 크기가 T×H×W = 17×256×256 이고 시간적 압축률이 4, 공간적 압축률이 8이라고 가정하면, 중간 표현의 크기는 T×H×W = 5×32×32로 줄어듭니다. 이는 인코더를 통해 입력 비디오를 효율적으로 압축하여 처리하는 과정을 시각적으로 보여줍니다. 다이어그램은 다양한 컨볼루션 블록과 AlphaBlender 연산자의 연결을 자세하게 나타내어, 모델의 구조와 동작 방식에 대한 이해를 돕습니다.

read the caption

Figure 3: The improved model architecture. In the context of a causal setting, consider an input with dimensions T×H×W=17×256×256𝑇𝐻𝑊17256256T\times H\times W=17\times 256\times 256italic_T × italic_H × italic_W = 17 × 256 × 256. Assuming a temporal compression factor of 4444 and a spatial compression factor of 8888, the intermediate latent representation is reduced to dimensions T×H×W=5×32×32𝑇𝐻𝑊53232T\times H\times W=5\times 32\times 32italic_T × italic_H × italic_W = 5 × 32 × 32.

🔼 그림 4는 벡터 양자화(VQ)와 유한 스칼라 양자화(FSQ) 방법을 보여줍니다. 왼쪽은 VQ-VAE (Van Den Oord 외, 2017)에서 사용되는 벡터 양자화(VQ)를 나타냅니다. VQ는 고차원 벡터를 코드북에 있는 이산 벡터로 매핑하는 과정을 보여줍니다. 이는 입력 데이터를 압축하고 표현하는 데 유용하지만, 코드북 붕괴와 같은 문제가 발생할 수 있습니다. 오른쪽은 본 논문에서 제안하는 방법인 FSQ(Mentzer 외, 2024)를 보여줍니다. FSQ는 각 스칼라 값을 유한 개의 이산 값으로 양자화하여 VQ의 단점을 해결합니다. 코드북을 학습할 필요가 없어 훈련이 더 안정적이며, 코드북 붕괴 문제를 완화합니다. 두 방법 모두 고차원 데이터를 저차원 이산 표현으로 변환하여 효율적인 처리 및 압축을 가능하게 하지만, VQ보다 FSQ가 더 안정적이고 효율적임을 시사합니다.

read the caption

Figure 4: Left: Vector Quantization (VQ) employed in Vector Quantised-Variational AutoEncoder (VQ-VAE) (Van Den Oord et al., 2017). Right: Finite Scalar Quantization (FSQ) (Mentzer et al., 2024) utilized in our model.

🔼 그림 5는 본 논문에서 제시된 VidTok 모델과 최첨단 비디오 토크나이저들의 정성적 비교 결과를 보여줍니다. 여러 개의 비디오 클립에 대해, 지상 진실(Ground Truth)과 각 모델의 재구성 결과를 나란히 보여줌으로써, VidTok을 포함한 각 모델의 비디오 재구성 품질을 시각적으로 비교할 수 있도록 합니다. 특히, 세부적인 디테일과 동작 표현의 정확성 측면에서 VidTok의 성능을 직관적으로 확인할 수 있습니다.

read the caption

Figure 5: Qualitative comparison with the state-of-the-art video tokenizers.

🔼 그림 6은 훈련 데이터의 프레임 속도가 모델 성능에 미치는 영향을 보여줍니다. 두 번째 줄은 8FPS의 훈련 데이터를 사용한 테스트 결과를, 세 번째 줄은 3FPS의 훈련 데이터를 사용한 테스트 결과를 보여줍니다. 결과는 감소된 프레임 속도의 훈련 데이터를 사용하면 모델이 동작 역학을 효과적으로 포착하는 능력이 향상됨을 보여줍니다. 즉, 프레임 속도를 낮추면 모델이 움직임을 더 잘 학습하고 재구성 성능이 향상된다는 것을 의미합니다. 이는 낮은 프레임 속도에서도 중요한 정보가 손실되지 않고, 오히려 불필요한 정보가 제거되어 모델 학습 효율이 높아지기 때문으로 해석할 수 있습니다.

read the caption

Figure 6: The influence of different sample rates on model performance during training. The second row presents the test results obtained using training data with a sample rate of 8 FPS, while the third row shows the test results using training data with a sample rate of 3 FPS. The results demonstrate that employing training data with reduced frame rates enhances the model’s capacity to effectively capture motion dynamics.

🔼 표 2는 비디오 토크나이저 모델 아키텍처에 대한 ablation study 결과를 보여줍니다. 세 가지 변형 모델이 비교됩니다. Variant 1은 완전한 3D 아키텍처를 사용하고, Variant 2는 AlphaBlender를 제외하고, Variant 3은 3D 아키텍처를 사용하지 않습니다. 모든 설정에서 ‘KL - 4chn’을 정규화자로 사용했습니다. 표에는 각 변형 모델의 매개변수 수, FLOPS, PSNR, SSIM, LPIPS, FVD 값이 제시되어 모델 아키텍처 변경이 성능에 미치는 영향을 정량적으로 분석합니다.

read the caption

Table 2: Ablation study on the model architecture. Variant 1: fully 3D architecture. Variant 2: w/o AlphaBlender. Variant 3: w/o 3D architecture. We use ‘KL - 4chn’ as regularizer for all settings.

🔼 표 3은 다양한 이산화 기법이 모델 성능에 미치는 영향을 분석한 결과를 보여줍니다. VQ, LFQ, FSQ 세 가지 이산화 방법을 사용하여, 각각 규제 손실 적용 여부에 따른 성능 변화를 PSNR, SSIM, LPIPS, FVD 지표로 측정하였습니다. 또한, 코드북 활용률(U.R.)을 함께 제시하여, 각 이산화 기법의 효율성을 비교 분석하였습니다. 표에서 확인할 수 있듯이, 규제 손실을 적용하지 않은 VQ는 코드북 활용률이 매우 낮고 성능이 저조하지만, LFQ와 FSQ는 규제 손실 적용 여부와 관계없이 높은 코드북 활용률과 향상된 성능을 보여줍니다. 특히 FSQ는 모든 지표에서 가장 우수한 성능을 나타냅니다.

read the caption

Table 3: Analysis of the impact of discrete techniques on model performance. R.L. denotes Regularization Loss, while U.R. represents Utilization Rate.

🔼 표 4는 제안된 두 단계 학습 전략에 대한 비교 실험 결과를 보여줍니다. 공정한 비교를 위해 두 단계 모두 학습 데이터 세트 1을 사용했습니다. 모든 설정에서 ‘KL - 4chn’ 정규화기를 사용했습니다. NVIDIA A100 GPU를 사용하여 측정한 학습 연산 비용(GPU 시간)이 표에 제시되어 있습니다. 표에는 프레임 속도, 첫 번째 단계의 해상도, 두 번째 단계의 해상도, 인코더 고정 여부, PSNR, SSIM, LPIPS, FVD, GPU 시간 등의 정보가 포함되어 있습니다. 다양한 프레임 속도와 해상도 조합에 따른 성능 변화를 분석하여 효율적인 학습 전략을 제시하고자 합니다.

read the caption

Table 4: Ablation study on the proposed training strategy. To ensure a fair comparison, both stages use training data from Training Set 1. Across all configurations, the regularizer ‘KL - 4chn’ is employed. The training computational cost, measured in GPU hours, is evaluated using NVIDIA A100 GPUs.

🔼 표 5는 다양한 구성을 갖춘 모델들을 제시합니다. 연속 및 이산 토큰화, 다양한 비디오 압축률(VCR), 그리고 인과적 및 비인과적 시나리오를 모두 포함합니다. 이러한 구성은 다양한 다운스트림 작업의 고유한 요구 사항을 충족하도록 설계되었습니다. 더 자세히 설명하자면, 이 표는 VidTok 모델의 다양한 변형을 요약하여 보여줍니다. 각 변형은 토큰화 방식(연속 또는 이산), 비디오 압축 비율, 그리고 인과관계(causal) 여부 등의 특징을 가지고 있습니다. 이러한 다양한 모델 변형은 다양한 하류 작업에 유연하게 대응할 수 있도록 설계되었음을 보여줍니다.

read the caption

Table 5: Model summary. We offer a suite of models with diverse configurations, encompassing both continuous and discrete tokenization, various video compression ratios (VCR), and options for causal and non-causal scenarios. These configurations are designed to address the distinct requirements of various downstream tasks.