Through-The-Mask: Mask-based Motion Trajectories for Image-to-Video Generation

🔼 그림 2는 제안된 이미지-비디오 생성 프레임워크의 개요를 보여줍니다. 참조 이미지 x⁽⁰⁾와 텍스트 프롬프트 c를 일관된 비디오 시퀀스 x̂로 변환하는 과정을 나타냅니다. 미리 훈련된 LLM을 사용하여 동작 관련 프롬프트 c_motion과 개별 객체 관련 프롬프트 c_local={c_local⁽¹⁾,…,c_local^(L)}를 추출하여 각 객체의 의도된 동작을 포착합니다. SAM2를 사용하여 참조 이미지 x⁽⁰⁾로부터 초기 분할 마스크 s⁽⁰⁾을 생성합니다. 1단계에서는 이미지-동작 모델이 x⁽⁰⁾, s⁽⁰⁾, c_motion을 사용하여 객체별 이동 경로를 나타내는 마스크 기반 동작 경로 ŝ를 생성합니다. 2단계에서는 동작-비디오 모델이 x⁽⁰⁾, 생성된 경로 ŝ, 전역 조건으로서의 텍스트 프롬프트 c, 마스크 어텐션 블록(3.3절)을 통해 객체별 프롬프트 c_local을 입력받아 최종 비디오 x̂를 생성합니다.

read the caption

Figure 2: Overview of our I2V framework, transforming a reference image x(0)superscript𝑥0x^{(0)}italic_x start_POSTSUPERSCRIPT ( 0 ) end_POSTSUPERSCRIPT and text prompt c𝑐citalic_c into a coherent video sequence x^^𝑥\hat{x}over^ start_ARG italic_x end_ARG. A pre-trained LLM is used to derive the motion-specific prompt cm⁢o⁢t⁢i⁢o⁢nsubscript𝑐𝑚𝑜𝑡𝑖𝑜𝑛c_{motion}italic_c start_POSTSUBSCRIPT italic_m italic_o italic_t italic_i italic_o italic_n end_POSTSUBSCRIPT and object-specific prompts cl⁢o⁢c⁢a⁢l={cl⁢o⁢c⁢a⁢l(1),…,cl⁢o⁢c⁢a⁢l(L)}subscript𝑐𝑙𝑜𝑐𝑎𝑙superscriptsubscript𝑐𝑙𝑜𝑐𝑎𝑙1…superscriptsubscript𝑐𝑙𝑜𝑐𝑎𝑙𝐿c_{local}=\{c_{local}^{(1)},\dots,c_{local}^{(L)}\}italic_c start_POSTSUBSCRIPT italic_l italic_o italic_c italic_a italic_l end_POSTSUBSCRIPT = { italic_c start_POSTSUBSCRIPT italic_l italic_o italic_c italic_a italic_l end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ( 1 ) end_POSTSUPERSCRIPT , … , italic_c start_POSTSUBSCRIPT italic_l italic_o italic_c italic_a italic_l end_POSTSUBSCRIPT start_POSTSUPERSCRIPT ( italic_L ) end_POSTSUPERSCRIPT }, capturing each object’s intended motion. We generate an initial segmentation mask s(0)superscript𝑠0s^{(0)}italic_s start_POSTSUPERSCRIPT ( 0 ) end_POSTSUPERSCRIPT from x(0)superscript𝑥0x^{(0)}italic_x start_POSTSUPERSCRIPT ( 0 ) end_POSTSUPERSCRIPT using SAM2. In Stage 1, the Image-to-Motion utilizes x(0)superscript𝑥0x^{(0)}italic_x start_POSTSUPERSCRIPT ( 0 ) end_POSTSUPERSCRIPT, s(0)superscript𝑠0s^{(0)}italic_s start_POSTSUPERSCRIPT ( 0 ) end_POSTSUPERSCRIPT, and cm⁢o⁢t⁢i⁢o⁢nsubscript𝑐𝑚𝑜𝑡𝑖𝑜𝑛c_{motion}italic_c start_POSTSUBSCRIPT italic_m italic_o italic_t italic_i italic_o italic_n end_POSTSUBSCRIPT to generate mask-based motion trajectories s^^𝑠\hat{s}over^ start_ARG italic_s end_ARG that represent object-specific movement paths. In Stage 2, the Motion-to-Video takes as input x(0)superscript𝑥0x^{(0)}italic_x start_POSTSUPERSCRIPT ( 0 ) end_POSTSUPERSCRIPT, the generated trajectories s^^𝑠\hat{s}over^ start_ARG italic_s end_ARG, the text prompt c𝑐citalic_c as a global condition, and object-specific prompts cl⁢o⁢c⁢a⁢lsubscript𝑐𝑙𝑜𝑐𝑎𝑙c_{local}italic_c start_POSTSUBSCRIPT italic_l italic_o italic_c italic_a italic_l end_POSTSUBSCRIPT through a masked attention blocks (Section 3.3), producing the final video x^^𝑥\hat{x}over^ start_ARG italic_x end_ARG.

🔼 그림 3은 마스크 처리된 어텐션 블록의 작동 방식을 보여줍니다. 정사각형은 비디오의 잠재 패치를 나타내며, 색상으로 객체(예: 고양이 또는 개)를 구분합니다. 삼각형은 프롬프트 토큰을 나타내며, 회색은 전체 프롬프트를, 객체별 색상은 지역 프롬프트를 나타냅니다. 이 과정은 모든 패치에 대한 자기 어텐션, 각 객체에 제한된 마스크 처리된 자기 어텐션, 전체 프롬프트를 통합하는 교차 어텐션, 그리고 객체별 프롬프트를 정렬하는 마스크 처리된 교차 어텐션을 포함합니다.

read the caption

Figure 3: Illustration of the masked attention block. Squares represent video latent patches, color-coded to indicate objects (e.g., cat or dog). Triangles denote prompt tokens: gray for global prompts and object-specific colors for local prompts. The pipeline features self-attention for all patches, masked self-attention restricted to each object, cross-attention integrating global prompts, and masked cross-attention aligning object-specific prompts.

🔼 본 그림은 논문의 SA-V-128 벤치마크에서 생성된 비디오의 시각적 비교를 보여줍니다. Through-The-Mask 모델과 TI2V 기준 모델의 결과를 비교하여 각 모델의 성능 차이를 보여줍니다. 여러 개의 객체가 포함된 복잡한 동작들을 얼마나 정확하게 애니메이션으로 만들었는지 보여주는 대표적인 예시들을 보여줍니다. 각 비디오는 입력 이미지와 텍스트 프롬프트를 기반으로 생성됩니다. Through-The-Mask 모델은 여러 객체의 동작을 더욱 정확하고 일관되게 표현하는 것을 확인할 수 있습니다.

read the caption

Figure 4: Qualitative comparison: Visual examples of generated videos for Through-The-Mask compared to the TI2V baseline on examples from the SA-V-128 benchmark.

🔼 이 그림은 이미지에서 비디오 생성을 위한 중간 표현으로 분할 마스크와 광학 흐름을 사용하여 생성된 비디오의 질적 비교를 보여줍니다. 첫 번째 행은 입력 이미지와 텍스트, 두 번째 행은 생성된 마스크, 세 번째 행은 생성된 광학 흐름을 보여줍니다. 네 번째와 다섯 번째 행은 생성된 비디오를 보여주는데, 네 번째 행은 마스크 기반 모델을 사용하고, 다섯 번째 행은 흐름 기반 모델을 사용합니다. 이를 통해 마스크 기반 방법이 흐름 기반 방법보다 더 나은 비디오 품질을 생성한다는 것을 보여줍니다.

read the caption

Figure 5: Qualitative comparison of generated videos using segmentation masks vs optical flow as an intermediate motion representation. The first row shows the input image and text, the second row displays the generated masks, and the third row presents the generated optical flow. The fourth and fifth rows show the generated videos, with the fourth row using our mask-based model and the fifth using our flow-based model.

🔼 그림 6은 제안된 Through-The-Mask 방법의 다양한 설정에서 생성된 비디오들을 정성적으로 비교한 것입니다. 마스크 기반 크로스 어텐션, 마스크 기반 셀프 어텐션, 두 기법 모두 적용한 경우, 그리고 마스크 어텐션을 전혀 사용하지 않은 경우의 네 가지 설정을 비교합니다. 마스크 어텐션을 사용하지 않은 경우, 만화 속 슈퍼히어로는 기도 동작을 제대로 수행하지 못합니다. 마스크 기반 셀프 어텐션만 사용한 경우에도 기도 동작은 완벽하지 않지만, 움직임이 더 부드럽고 일관성이 있습니다. 마스크 기반 크로스 어텐션을 사용한 경우, 슈퍼히어로는 기도 동작을 성공적으로 수행하지만 손가락이 파랗게 변하는 등의 오류가 발생합니다. 마지막으로, 마스크 기반 크로스 어텐션과 셀프 어텐션을 모두 적용한 Through-The-Mask의 경우, 슈퍼히어로가 기도 동작을 완벽하게 수행합니다.

read the caption

Figure 6: Qualitative comparison of generated videos for each configuration of Through-The-Mask. The results highlight differences when applying masked cross-attention (With cross-attn), self-attention (With self-attn), both (Ours), or no masked attention layers (No mask attn). Without masked attention, the cartoon superhero fails to perform a prayer. With masked self-attention, the superhero also fails, but the movement appears smoother and more consistent. With masked cross-attention, the superhero successfully performs the prayer, though his fingers turn blue. When integrating the full masked attention mechanism, the superhero performs the action correctly.

🔼 그림 7은 중간 모션 표현으로 분할 마스크와 광학 흐름을 사용하여 생성된 비디오의 질적 비교를 보여줍니다. 첫 번째 행에는 입력 이미지와 텍스트가 표시되고, 두 번째 행에는 생성된 마스크가 표시되고, 세 번째 행에는 생성된 광학 흐름이 표시됩니다. 네 번째와 다섯 번째 행에는 생성된 비디오가 표시되며, 네 번째 행은 마스크 기반 모델을 사용하고 다섯 번째 행은 흐름 기반 모델을 사용합니다. 이 그림은 마스크 기반 모션 표현이 흐름 기반 모션 표현보다 더 나은 결과를 생성함을 보여줍니다.

read the caption

Figure 7: Qualitative comparison of generated videos using segmentation masks vs optical flow as an intermediate motion representation. The first row shows the input image and text, the second row displays the generated masks, and the third row presents the generated optical flow. The fourth and fifth rows show the generated videos, with the fourth row using our mask-based model and the fifth using our flow-based model.

🔼 본 그림은 논문에서 제안하는 Through-The-Mask 모델(DiT 기반)과 기준 모델인 TI2V(DiT 기반)을 사용하여 생성한 비디오를 정성적으로 비교한 결과를 보여줍니다. Through-The-Mask는 마스크 기반의 동작 궤적을 사용하여 여러 개체의 동작을 정확하게 애니메이션화하는 기능을 보여주며, TI2V보다 더 사실적이고 일관성 있는 비디오 생성 결과를 보여줍니다. 두 가지 예시를 통해 전차가 움직이는 장면과 앵무새가 나는 장면을 비교합니다. 각 장면에서 Through-The-Mask 모델은 TI2V 모델보다 더 자연스럽고 정확한 움직임을 생성하는 것을 확인할 수 있습니다.

read the caption

Figure 8: Qualitative comparison of video generations produced by Through-The-Mask (DiT-based) and the TI2V baseline (DiT-based).

🔼 표 2는 Image-Animation-Bench에 대한 실험 결과를 보여줍니다. FVD(Fréchet Video Distance), CF(CLIPFrame), ViCLIP-T, ViCLIP-V, AD(Average Displacement) 와 같은 다양한 객관적인 지표들을 사용하여 비디오 생성 모델의 성능을 평가했습니다. 또한 사람의 평가를 통해 Through-The-Mask 모델이 다른 모델들보다 얼마나 선호되는지 그 비율을 제시하여 주관적인 평가 결과도 포함하고 있습니다. 즉, 비디오의 현실감, 시간적 일관성, 텍스트 충실도, 이미지 충실도 그리고 동작의 자연스러움까지 다양한 측면에서 Through-The-Mask 모델의 성능을 객관적, 주관적 지표를 통해 종합적으로 평가한 표입니다.

read the caption

Table 2: Image-Animation-Bench results. We report FVD, CLIPFrame (CF), ViCLIP-T, ViCLIP-V, and Average Displacement (AD), along with human ratings. Human evaluation shows the percentage of raters that prefer the results of Through-The-Mask.

🔼 이 표는 논문의 4.3절 실험 결과(Ablation Study)의 일부분으로, SA-V-128 벤치마크를 사용하여 U-Net과 DiT 기반 모델 모두에서 서로 다른 어텐션 구성(Masked Attention)의 성능을 비교 분석한 결과를 보여줍니다. 각 모델의 FVD, CF, ViCLIP-T, ViCLIP-V, AD 지표 값을 제시하여 어텐션 메커니즘이 모델 성능에 미치는 영향을 정량적으로 평가합니다. 구체적으로는 마스크드 어텐션을 적용하지 않은 경우, 마스크드 크로스 어텐션만 적용한 경우, 마스크드 셀프 어텐션만 적용한 경우, 그리고 마스크드 크로스 및 셀프 어텐션을 모두 적용한 경우(THROUGH-THE-MASK)의 성능을 비교하여 어텐션 메커니즘의 효과를 분석합니다.

read the caption

Table 3: Ablation study results on the SA-V-128 benchmark comparing the performance of different attention configurations, in both U-Net and DiT-based models.

🔼 이 표는 이미지-비디오 생성을 위한 두 가지 다른 모션 경로 표현 방식(분할 마스크와 광학 흐름)의 성능을 비교 분석한 결과를 보여줍니다. ‘w. Seg’는 분할 마스크 기반 모션 경로를 사용한 모델, ‘w. OF’는 광학 흐름 기반 모션 경로를 사용한 모델을 나타냅니다. 표에는 각 모델의 FVD, CF, ViCLIP-T, ViCLIP-V, AD 값이 제시되어 있어, 두 가지 방식의 성능 차이를 정량적으로 비교 분석하는 데 도움을 줍니다.

read the caption

Table 4: Ablation study comparing segmentation masks and optical flow as motion trajectory representation. w. Seg refers to models with segmentation-based motion trajectories, while w. OF denotes models with optical flow-based motion trajectories.