AV-Link: Temporally-Aligned Diffusion Features for Cross-Modal Audio-Video Generation

🔼 그림 2는 동결된 비디오 및 오디오 백본을 연결하는 제안된 융합 블록의 설계를 보여줍니다. RoPE 기반 시간 정렬 메커니즘은 여러 모달리티 간의 대응 관계를 설정하고, 이는 자기 주의 메커니즘에 의해 활용됩니다. 비디오 및 오디오 기능은 대칭적으로 동결된 생성기에 재주입됩니다. 이 블록은 백본 전체에 걸쳐 여러 번 정기적으로 적용됩니다. 이 그림은 단순히 두 모달리티의 특징을 결합하는 것이 아니라, RoPE 기반 시간 정렬 메커니즘을 통해 시간적 일관성을 유지하면서, 자기 주의 메커니즘을 이용하여 서로 상호 작용하도록 설계되었음을 보여줍니다. 대칭적인 재주입은 두 모달리티 간의 정보 흐름을 균형 있게 유지하는 데 기여합니다.

read the caption

Figure 2: Design of the proposed Fusion Block connecting the frozen video and audio backbones. A RoPE-based temporal alignment mechanism establishes correspondences between modalities that are leveraged by self attention. Video and audio features are symmetrically reinjected into the frozen generators. The block is regularly applied multiple times throughout the backbones.

🔼 그림 3은 오디오-비디오 생성에서 조건 설정 특징을 위한 다양한 흐름 시간 단계(t)에 따른 오디오-비디오 생성 성능을 보여줍니다. 결과적으로, 조건 설정 특징이 완전히 잡음이 제거된 상태에 가까울 때(즉, t가 0.8에서 0.98 사이일 때) 최상의 성능을 달성함을 알 수 있습니다. 이는 잡음 제거 과정이 진행됨에 따라 생성 모델이 더욱 정확하고 효과적인 조건 설정 정보를 활용할 수 있음을 시사합니다.

read the caption

Figure 3: Visualization of Audio-to-Video and Video-to-Audio generation performance for various value of flow timesteps t𝑡titalic_t for conditioning features. Best performance is achieved when conditioning features are close to be fully denoised, i.e. t∈[0.8,0.98]𝑡0.80.98t\in[0.8,0.98]italic_t ∈ [ 0.8 , 0.98 ].

🔼 그림 4는 제안된 AV-Link 모델과 기존 비디오-오디오 생성 모델들의 비교 결과를 보여주는 정성적 분석 결과입니다. AV-Link 모델은 ‘공놀이’와 ‘북소리’와 같은 비디오의 시각적 요소에 따른 소리의 발생 시점을 정확하게 맞춰 최고 수준의 시간적 정합성을 달성했습니다. 기존 모델들은 시각적 요소와 소리의 시간적 정합성이 떨어지는 모습을 보여줍니다. 부록과 웹사이트에서 추가적인 결과를 확인할 수 있습니다.

read the caption

Figure 4: Qualitative V2A results. Our model achieved the best temporal alignment, matching closely the “bouncing” and “drumming” sounds entailed by the video modality. See the Appendix and Website for additional results.

🔼 그림 5는 제안된 AV-Link 모델과 TempoTokens 모델의 A2V(Audio-to-Video) 성능을 비교한 정성적 결과를 보여줍니다. AV-Link 모델은 입력 오디오 신호에 담긴 의미(폭발, 북소리-정적-북소리)를 시각적으로 잘 표현하고 있으며, 시간적 정렬 또한 매우 정확합니다. TempoTokens 결과와 비교했을 때, AV-Link는 더욱 자연스럽고 일관성 있는 비디오를 생성하며, 시간적 일치성이 훨씬 뛰어납니다. AV-Link의 샘플은 3FPS로 3.3초 분량을 보여주지만, TempoTokens는 2초 분량만 표시되어 프레임 수 차이가 있습니다. 부록과 웹사이트에서 추가적인 결과를 확인할 수 있습니다.

read the caption

Figure 5: Qualitative A2V results. Our model generates semantically and temporally aligned content showing to the “explosions” and “drumming→→\rightarrow→silence→→\rightarrow→drumming” events implied by the audio modality. We show 3.3s of our samples at 3 FPS while only 2s of TempoTokens samples, hence the difference in frame count. See the Appendix and Website for additional results.

🔼 이 그림은 흐름 시간 단계(t)에 대한 로그-정규 분포(Logit-Normal distribution) 𝑝𝑡(pt)의 매개변수화에 따른 비교를 보여줍니다. 그림은 로그-정규 분포의 위치(즉, 정규 분포의 평균)가 더 높은 노이즈 수준으로 이동함에 따라 모델의 수렴 속도가 빨라지는 것을 보여줍니다. 즉, 노이즈가 많은 샘플에서 학습을 시작하는 것이 모델의 학습 속도를 높이는 데 효과적임을 시사합니다.

read the caption

Figure 6: Comparison between different parametrizations for the Logit-Normal training distributions ptsubscript𝑝𝑡p_{t}italic_p start_POSTSUBSCRIPT italic_t end_POSTSUBSCRIPT for the flow timestep t𝑡titalic_t. When the location (i.e. the mean of the normal distribution) is shifted towards higher noise levels, we observe faster model convergence.

🔼 그림 7은 연구진이 직접 촬영한 실제 영상을 사용하여, 정확한 시간적 정렬이 필요한 비디오-오디오 생성 작업에서 제안된 방법과 기존 방법들을 비교 분석한 결과를 보여줍니다. AV-Link는 시각적 모드와 밀접하게 일치하는 오디오 신호를 생성하지만, 기존 방법들은 관련이 없는 오디오나 시각적 콘텐츠와 동기화되지 않은 오디오를 생성하는 경우가 많습니다. 자세한 내용은 웹사이트를 참조하십시오.

read the caption

Figure 7: Qualitative V2A results comparing our method to baselines on in-the-wild videos captured by the authors that require precise temporal alignment. AV-Link produces audio signals that closely align to the visual modalities, while baselines often produce audio that is unrelated or not correctly synchronized with the visual content. See the Website for more results.

🔼 표 2는 본 논문에서 제안하는 AV-Link 모델의 V2A(Video-to-Audio) 성능에 대한 ablation study 결과를 보여줍니다. 다양한 변수들을 변경하며 실험하여 각 요소의 영향을 분석합니다. ‘FT’ 표시는 모델의 성능 향상을 위해 일부 파라미터를 추가로 미세 조정(fine-tuning)했음을 의미합니다. 표에는 다양한 실험 설정(예: 조건화 특징 유형, Fusion Block 배치, 특징 주입 방식 등)에 따른 성능 지표(FAD, FD, CLAP, IS, IB-AI, IB-AV, Onset ACC) 변화가 나타나 있습니다. 이를 통해 AV-Link 모델의 성능에 가장 크게 기여하는 요소가 무엇인지 확인하고, 모델 설계의 효율성을 평가할 수 있습니다.

read the caption

Table 2: V2A ablation results of our method. Variants marked with FT indicate backbone finetuning when few parameters are introduced.

🔼 표 3은 논문에서 제시된 AV-Link 모델의 성능을 기존 A2V(Audio-to-Video) 방법들과 비교 분석한 결과를 보여줍니다. VGGSounds 데이터셋[9]을 사용하여 FID, FVD, IB-AI, IB-AV 지표를 통해 비디오 생성 품질과 오디오-비디오 의미 및 시간적 정합성을 평가했습니다. TempoTokens 모델을 포함한 여러 기준 모델들과 비교하여 AV-Link의 우수성을 보여주는 표입니다. 각 지표는 낮을수록 좋은 성능을 나타냅니다.

read the caption

Table 3: Comparison to baselines on the A2V task on VGGSounds [9].

🔼 표 4는 AV-Link와 기존 방법들을 비교 분석한 사용자 연구 결과를 보여줍니다. 사용자들은 비디오-오디오 생성 품질, 오디오 품질, 비디오 품질, 의미적 정합성 및 시간적 정합성 측면에서 두 방법을 비교 평가했습니다. 표는 각 평가 기준에 대해 AV-Link가 얼마나 많은 비율로 선호되었는지 백분율(%)로 나타냅니다. 예를 들어, ‘Audio-Video Quality’ 열에서 AV-Link가 56.8%의 비율로 선호되었다는 것은 사용자의 절반 이상이 AV-Link가 생성한 비디오-오디오 쌍의 품질이 더 우수하다고 평가했음을 의미합니다.

read the caption

Table 4: User study comparing AV-Link against baselines. Results in % of votes in favor of our method.