MotiF: Making Text Count in Image Animation with Motion Focal Loss

🔼 이 그림은 MotiF와 기존 TI2V 방법들의 차이점을 보여줍니다. 기존 방법들은 모델에 추가적인 모션 신호(모션 점수나 마스크)를 입력으로 사용하여 모션 정보를 간접적으로 활용하는 데 초점을 맞춘 반면, MotiF는 학습 목표에 초점을 맞춰 광학 흐름(optical flow)으로부터 얻은 모션 강도에 따라 확산 손실(diffusion loss)의 가중치를 조정합니다. MotiF는 간단하고 효과적이며 추론 중에 추가적인 입력이 필요하지 않고 기존 기술들과 상호 보완적인 관계를 가집니다.

read the caption

Figure 2: High-level comparisons of MotiF vs. prior works. Previous TI2V generation methods mainly focused on deriving additional motion signals (motion score and/or motion mask) as inputs for the model to leverage implicitly. On the contrary, we focus on the learning objective and propose to weight the diffusion loss based on the motion intensity, that is derived from optical flow. Our method is simple, effective, and does not require additional inputs during inference. Moreover, MotiF is complementary to existing techniques.

🔼 그림 3은 논문에서 제안하는 TI2V Bench 데이터셋의 예시 이미지-텍스트 쌍들을 보여줍니다. 각 열(scenario)은 애니메이션을 통해 다양한 동작을 생성할 수 있는 잠재적인 장면을 나타냅니다. 여러 개의 물체(노란색/파란색/빨간색 풍선)가 초기 이미지에 포함되어 세밀한 제어가 가능하도록 하거나, 텍스트 프롬프트가 새로운 물체(프리스비, 거품)가 장면에 등장하는 것을 설명하는 등 어려운 시나리오가 포함되어 있습니다. 다양한 프롬프트를 사용하여 공개적으로 이용 가능한 Meta AI 도구를 통해 다양한 이미지를 생성하였으며, 품질이 낮거나 적절한 초기 상태가 아닌 이미지는 제거되었습니다. 이 그림은 TI2V Bench 데이터셋의 다양성과 난이도를 보여주는 대표적인 예시입니다.

read the caption

Figure 3: Example image-text pairs in TI2V Bench. For each scenario (column), we first think of a scene that could be potentially animated to generate different types of motion. We include challenging scenarios when there are multiple objects (yellow/blue/red balloon) in the initial image for fine-grained control or the text prompt describes a new object (frisbee, bubbles) to enter the scene. Then we come up with different prompts and use the publicly available meta.ai tool to generate diverse sets of images. Images of low quality or those not in the appropriate initial state are removed.

🔼 그림 4는 제안된 TI2V Bench에서 MotiF와 9가지 오픈소스 모델 [46, 7, 25, 50, 9, 53, 28, 12, 33]의 성능을 비교한 사용자 평가 결과를 보여줍니다. MotiF는 평균 72%의 선호도를 보이며 모든 모델에 걸쳐 상당한 성능 향상을 달성했습니다. 정당화 선택을 분석한 결과, MotiF 모델은 텍스트 정렬 및 객체 동작 개선에 탁월한 성능을 보였으며, 이는 MotiF의 개발 동기와 일치합니다. 모든 비교 모델의 추론은 Brown University에서 수행되었습니다.

read the caption

Figure 4: Human evaluation results comparing MotiF to nine open-sourced models [46, 7, 25, 50, 9, 53, 28, 12, 33] on our proposed TI2V Bench. We achieved considerable improvements across the board with an average preference of 72%percent7272\%72 %. Through examining the justification choices, we found that our model mostly excel at improving text alignment and object motion, which matches very well with our motivation. Note that all the inference of prior works are done at Brown University.

🔼 본 그림은 논문의 TI2V Bench(Text-Image-to-Video Benchmark) 데이터셋을 사용하여, MotiF를 포함한 여러 기존 TI2V 모델들의 성능을 정성적으로 비교 분석한 결과를 보여줍니다. 왼쪽에서 오른쪽으로, 각 모델이 생성한 비디오의 일부 프레임들을 순차적으로 나열하여, 각 모델의 장단점과 시각적 품질을 직관적으로 비교할 수 있도록 구성되어 있습니다. 각 비디오는 동일한 이미지와 텍스트 프롬프트를 입력으로 사용하여 생성되었으며, 프레임들의 시각적 비교를 통해 각 모델이 제시하는 영상의 동작, 움직임의 자연스러움, 텍스트 및 이미지와의 일관성 등을 평가할 수 있습니다.

read the caption

Figure 5: Qualitative comparison to prior works on TI2V Bench. Sampled frames are ordered from left to right.

🔼 그림 6은 모션 포커스 손실(MotiF)이 고정밀도 영역의 손실을 얼마나 효과적으로 줄이는지 보여주는 손실 비교 그래프입니다. 다양한 시간 단계에서 검증 세트의 전체 평균 손실에 대한 고운동 영역의 평균 손실 비율을 계산하여 비교합니다. MotiF는 고운동 영역의 상대적 손실을 효과적으로 줄이는 것을 보여줍니다. 즉, MotiF가 정지된 배경보다는 실제로 움직이는 영역에 더 집중하여 학습함으로써 정확도 향상에 기여함을 시각적으로 나타냅니다.

read the caption

Figure 6: Loss comparison. We calculate the ratio of the average loss in the high motion region to the average overall loss on a hold-out validation set with different timesteps. MotiF can effectively reduce the relative loss of the high motion regions.

🔼 그림 A1은 논문에서 제시된 TI2V Bench 기준으로 기존 연구들과 MotiF의 비디오 생성 결과를 정성적으로 비교한 것입니다. MotiF는 텍스트 프롬프트와 더 잘 일치하는 비디오를 생성할 수 있음을 보여줍니다. 웹사이트에서 더 많은 비디오 샘플을 확인할 수 있습니다.

read the caption

Figure A1: More qualitative comparison to prior works on TI2V Bench. MotiF can generate videos that align better with the text prompts. More video samples are available in the project website.

🔼 이 표는 MotiF 모델의 설계 선택에 따른 ablation study 결과를 보여줍니다. MotiF 모델과 기준 모델(baseline)의 성능을 비교하여 각 설계 선택이 모델 성능에 미치는 영향을 분석합니다. 표의 왼쪽 숫자는 MotiF 모델의 결과이고, 오른쪽 숫자는 기준 모델의 결과입니다. 결과적으로 MotiF는 텍스트 정렬 및 객체 모션 향상에 효과적임을 보여줍니다. 이는 이전 연구들과의 비교 결과와도 일치합니다.

read the caption

Table 2: Ablation studies on different design choices. The numbers on the left is for MotiF and the right is for the baseline. Similarly to the comparisons to prior works, MotiF mostly excel in improving the text alignment and object motion.

🔼 이 표는 이미지 조건화 기법에 대한 추가 실험 결과를 보여줍니다. 본 논문에서 제안하는 방법(x-cat)과 비교하여, cx-attn만 사용했을 때는 성능이 훨씬 저하되었고, 두 기법을 모두 사용했을 때도 최적이 아니었음을 보여줍니다. 모션 초점 손실(Motion Focal Loss)을 사용하지 않고 모델을 훈련하여 실험을 단순화했습니다. 표에는 각 방법에 대한 TI2V 점수, 이미지 정렬, 텍스트 정렬, 개체 모션, 전반적인 품질 점수가 포함되어 있습니다.

read the caption

Table 3: Ablation study on the image conditioning methods. Compared to our choice (x-cat), cx-attn alone leads to much worse results and using both is also sub-optimal. Here we train the models without motion focal loss to simplify the setting.

🔼 표 4는 Animate Bench 데이터셋 [51]을 사용한 자동 평가 지표를 보여줍니다. 첫 번째 행은 단순히 첫 번째 프레임을 반복하는 정지 영상 기준선을 보여주는데, 이는 이미지 정렬 점수가 가장 높고 텍스트 정렬 점수도 상당히 높은 것을 알 수 있습니다. MotiF는 기존 방법들과 비슷한 결과를 달성했습니다. 이 표는 자동화된 지표를 사용하여 MotiF 모델의 성능을 객관적으로 평가한 결과를 제시하며, 이미지 및 텍스트 정렬 측면에서 기존 방법과 유사한 수준임을 보여줍니다. 정지 영상 기준선과 비교하여 MotiF의 성능을 상대적으로 평가할 수 있도록 추가적인 정보를 제공합니다.

read the caption

Table 4: Automatic metrics on Animate Bench [51]. A simple static video baseline (repeating the first frame) can generate the best image alignment score and reasonable text alignment score (first row). MotiF achieved comparable results to prior works.

🔼 이 표는 MotiF(Motion Focal Loss) 모델에서 사용된 모션 히트맵 생성 방법에 대한 비교 실험 결과를 보여줍니다. MotiF 모델은 광학 흐름(optical flow)을 이용하여 모션 히트맵을 생성하는데, 본 실험에서는 SAM(Segment Anything Model)을 이용한 방법과의 성능 비교를 수행합니다. 표의 왼쪽 열은 광학 흐름 기반 MotiF의 결과를, 오른쪽 열은 SAM 기반 모션 히트맵을 사용한 결과를 보여줍니다. 각 열에는 TI2V 점수, 이미지 정렬, 텍스트 정렬, 객체 모션, 전반적인 품질 등 다섯 가지 지표에 대한 수치가 제시되어 있으며, 두 가지 방법의 성능 차이를 정량적으로 비교 분석할 수 있도록 합니다. 특히, 각 지표에 대한 수치 비교를 통해 어떤 방법이 각 지표에서 더 나은 성능을 보이는지 확인할 수 있습니다.

read the caption

Table A1: Ablation study comparing SAM heatmap to optical flow heatmap (MotiF). Numbers on the left are for MotiF and right for the SAM heatmap.

🔼 표 A2는 모션 초점 손실 가중치 λ에 대한 추가 실험 결과를 보여줍니다. 왼쪽 숫자는 MotiF를 사용한 결과이고, 오른쪽 숫자는 비교 대상 설정(λ 값을 변경한 설정)의 결과입니다. 각 열은 TI2V 점수, 이미지 정렬, 텍스트 정렬, 개체 움직임, 전반적인 품질을 나타내며, MotiF의 λ 값에 따른 성능 변화를 보여줍니다. λ 값이 1일 때 가장 좋은 성능을 보이는 것을 확인할 수 있습니다.

read the caption

Table A2: Ablation studies on the motion focal loss weight λ𝜆\lambdaitalic_λ. The numbers on the left is for MotiF and the right is for the comparing setting.

🔼 표 A3는 VBench-I2V 벤치마크에 대한 MotiF 및 여러 기준 모델의 정량적 평가 결과를 보여줍니다. VBench-I2V는 실제 이미지와 텍스트 프롬프트로 구성된 I2V(Image-to-Video) 데이터셋이며, 카메라 동작 제어에 중점을 둡니다. 표는 일관성, 깜빡임, 부드러움, 동적 정도, 미적 품질, 이미지 품질, 주제 일관성, 배경 일관성, 카메라 동작, 전체 동작 품질 등 다양한 측면에서 MotiF와 기준 모델들을 비교 분석한 결과를 제시합니다. 정적 비디오 기준 모델은 대부분의 지표에서 MotiF보다 우수하지만, 동적 정도와 카메라 동작 측면에서는 MotiF가 더 나은 성능을 보입니다. 이는 자동 평가 지표의 한계와 전체적인 비디오 품질과 동적 요소 간의 상충 관계를 보여주는 결과입니다.

read the caption

Table A3: Results on VBench-I2V.