TangoFlux: Super Fast and Faithful Text to Audio Generation with Flow Matching and Clap-Ranked Preference Optimization

🔼 그림 2는 훈련 반복 횟수에 따른 CLAP 점수와 KL 발산의 추이를 보여줍니다. 이 그래프는 온라인 훈련과 오프라인 훈련 간의 뚜렷한 차이를 보여줍니다. 오프라인 훈련은 두 번째 반복에서 CLAP 점수가 최고점에 도달하고 KL 발산이 증가하는 것을 보여주는 반면, 온라인 훈련은 네 번째 반복까지 CLAP 점수가 계속 증가하고 KL 발산은 지속적으로 감소하는 것을 보여줍니다. 이는 온라인 훈련이 오프라인 훈련보다 더 효과적임을 시사합니다.

read the caption

Figure 2: The trajectory of CLAP score and KL divergence across the training iterations. This plot shows the stark difference between online and offline training. Offline training clearly peaks early, by the second iteration, indicated by the peaking CLAP score and increasing KL. In contrast, the CLAP score of online training continues to increase until iteration 4, while the KL divergence has a clear downward trend throughout.

🔼 그림 3은 각 반복에서 ℒDPO-FM 와 ℒCRPO 의 승자 손실과 패자 손실을 보여줍니다. 승자와 패자 손실 모두 각 반복마다 증가하고, 그 차이(마진) 또한 증가합니다. 이는 DPO(Direct Preference Optimization)를 사용하여 수정된 흐름(Rectified Flow)을 정렬할 때 승자와 패자의 상대적 가능성을 최적화하는 방식을 보여줍니다. 손실의 절대적인 크기보다는 두 손실 간의 마진이 중요하다는 점에 유의해야 합니다.

read the caption

Figure 3: Winning and Losing losses of ℒDPO-FMsubscriptℒDPO-FM\mathcal{L}_{\text{DPO-FM}}caligraphic_L start_POSTSUBSCRIPT DPO-FM end_POSTSUBSCRIPT and ℒCRPOsubscriptℒCRPO\mathcal{L}_{\text{CRPO}}caligraphic_L start_POSTSUBSCRIPT CRPO end_POSTSUBSCRIPT at each iteration. Winning and Losing losses increase each iteration, as well as their margin.

🔼 그림은 제목에서 알 수 있듯이 CLAP 점수를 기반으로 한 결과를 보여줍니다. CLAP 점수는 텍스트와 오디오 간의 유사도를 측정하는 지표이며, 점수가 높을수록 텍스트와 오디오가 잘 일치함을 의미합니다. 그림은 TANGOFLUX 모델과 다른 모델들의 성능을 비교하여 TANGOFLUX 모델의 우수성을 보여주는 데 사용되었습니다. 그림 자체는 간략하게 CLAP 점수만 표시하고 있지만, 논문의 내용을 참고하면 TANGOFLUX 모델이 다른 모델들보다 훨씬 높은 CLAP 점수를 기록하여 더 정확하고 충실하게 텍스트를 오디오로 변환했음을 알 수 있습니다.

read the caption

(a) CLAPscorescore{}_{\text{score}}start_FLOATSUBSCRIPT score end_FLOATSUBSCRIPT

🔼 이 그림은 논문의 3.3절(객관적 평가)에서 다양한 텍스트 음성 생성 모델들의 성능을 비교 분석한 결과를 보여줍니다. 정확히는 Fréchet Distance (FD) 지표를 사용하여 생성된 오디오의 품질을 평가한 결과입니다. FDopenl3openl3{}{ text{openl3}}는 오디오 품질을 평가하는 지표 중 하나이며, 낮을수록 생성된 오디오의 품질이 실제 오디오와 유사하다는 것을 의미합니다. 그림은 서로 다른 모델들의 FDopenl3openl3{}{ text{openl3}}값을 비교하여 각 모델의 오디오 생성 성능 차이를 시각적으로 나타냅니다. 각 모델의 성능 차이를 명확히 보여주어 TANGOFLUX 모델의 우수성을 강조하는 역할을 합니다.

read the caption

(b) FDopenl3openl3{}_{\text{openl3}}start_FLOATSUBSCRIPT openl3 end_FLOATSUBSCRIPT

🔼 표 2는 다중 이벤트 입력에 대한 다양한 음성합성 모델의 성능 비교 결과를 보여줍니다. 단순히 캡션만으로는 알 수 없는 세부적인 내용으로, 각 모델(AudioLDM 2-large, Stable Audio Open, Tango 2, TANGOFLUX-base, TANGOFLUX)의 매개변수 수, 생성된 오디오 길이, Fréchet Distance (FDopenl3), Kullback-Leibler divergence (KLpasst), CLAP 점수, Inception Score (IS) 등의 지표를 사용하여 성능을 평가한 결과가 포함되어 있습니다. 다중 이벤트가 포함된 프롬프트를 사용하여 모델의 복잡한 지시사항 이해 및 처리 능력을 평가했음을 알 수 있습니다.

read the caption

Table 2: Comparison of text-to-audio models on multi-event inputs.

🔼 표 3은 음성 선호도 미세 조정에 사용된 서로 다른 선호도 데이터셋의 비교 결과를 보여줍니다. 지표는 다음과 같습니다: FDopenl3openl3{}{\text{openl3}}start_FLOATSUBSCRIPT openl3 end_FLOATSUBSCRIPT (프레셰 거리), KLpasstpasst{}{\text{passt}}start_FLOATSUBSCRIPT passt end_FLOATSUBSCRIPT (KL 발산), CLAPscorescore{}_{\text{score}}start_FLOATSUBSCRIPT score end_FLOATSUBSCRIPT (정렬). 이 표는 서로 다른 선호도 데이터셋(BATON, Audio Alpaca, CRPO)을 사용하여 미세 조정한 모델의 성능을 비교하여 CRPO 데이터셋의 효과를 보여줍니다. 각 지표는 음성 생성 모델의 정확성과 품질을 평가하는 데 사용됩니다.

read the caption

Table 3: Comparison of difference preference dataset used for preference tuning. Metrics include FDopenl3openl3{}_{\text{openl3}}start_FLOATSUBSCRIPT openl3 end_FLOATSUBSCRIPT for Frechet Distance, KLpasstpasst{}_{\text{passt}}start_FLOATSUBSCRIPT passt end_FLOATSUBSCRIPT for KL divergence, and CLAPscorescore{}_{\text{score}}start_FLOATSUBSCRIPT score end_FLOATSUBSCRIPT for alignment.

🔼 표 4는 음성 선호도 데이터셋을 미세 조정하는 데 사용된 다양한 데이터셋을 비교한 표입니다. 측정 지표는 Fréchet Distance(FDopenl3), KL divergence(KLpasst), 그리고 alignment(CLAPscore)를 포함합니다. 본 표는 각 데이터셋을 사용하여 미세 조정한 모델의 성능을 평가하는 데 사용되는 세 가지 측정 지표의 수치를 보여줍니다. 이는 모델의 음질, 설명과의 일관성, 그리고 전반적인 성능을 평가하는 데 도움이 됩니다.

read the caption

Table 4: Comparison of different preference datasets used for preference tuning. Metrics include FDopenl3openl3{}_{\text{openl3}}start_FLOATSUBSCRIPT openl3 end_FLOATSUBSCRIPT for Fréchet Distance, KLpasstpasst{}_{\text{passt}}start_FLOATSUBSCRIPT passt end_FLOATSUBSCRIPT for KL divergence, and CLAPscorescore{}_{\text{score}}start_FLOATSUBSCRIPT score end_FLOATSUBSCRIPT for alignment.

🔼 표 5는 인간 평가자들이 평가한 오디오 품질(OVL)과 관련성(REL)이라는 두 가지 속성에 대한 결과를 보여줍니다. 이 표는 개별 평가자의 편향을 완화하고 상대적 성능 비교를 제시하기 위해 z 점수, 순위, Elo 점수를 보고합니다. z 점수는 평가자의 평점의 표준화된 점수를 나타내고, 순위는 모델의 평균 및 최빈 순위를 보여주며, Elo 점수는 모델의 상대적 성능을 확률적이고 연속적인 점수로 나타냅니다. 이를 통해 다양한 관점에서 모델들의 성능을 종합적으로 비교 분석할 수 있습니다.

read the caption

Table 5: Human evaluation results on two attributes: OVL (overall quality) and REL (relevance). We report the z-scores, ranking, and Elo scores to mitigate individual annotator biases and present a relative performance comparison.

🔼 표 6은 다양한 Classifier-Free Guidance (CFG) 값을 사용했을 때 TANGOFLUX 모델의 성능을 보여줍니다. CFG 값을 변경하면 모델의 충실도와 의미적 일관성 사이에 상충 관계가 발생하는 것을 보여주며, 실험 결과를 통해 최적의 CFG 값을 제시합니다. 구체적으로, 다양한 CFG 값에 따른 Fréchet Distance (FD), Kullback-Leibler divergence (KL), 그리고 CLAP 점수를 비교 분석하여 모델 성능에 미치는 영향을 정량적으로 평가합니다.

read the caption

Table 6: TangoFlux with different classifier free guidance (CFG) values.

🔼 표 7은 논문의 인간 평가 부분에서 사용된 프롬프트들의 특징을 보여줍니다. 각 프롬프트는 여러 개의 사운드 이벤트를 포함하고 있으며, 이러한 이벤트들이 시간 순서대로 정렬되어 있는지 여부를 나타내는 Temporal Events 열이 추가되어 있습니다. Multiple Events 열은 프롬프트에 포함된 사운드 이벤트의 개수를 나타냅니다. 이 표는 인간 평가자들이 다양하고 복잡한 오디오를 평가하는 데 사용된 프롬프트의 특성을 보다 명확하게 이해하는 데 도움을 줍니다.

read the caption

Table 7: Prompts used in human evaluation and their characteristics.