VMix: Improving Text-to-Image Diffusion Model with Cross-Attention Mixing Control

🔼 그림 2는 제안된 VMix 방법의 작동 과정을 보여줍니다. (a) 초기화 단계에서는 미리 정의된 미적 레이블이 CLIP을 통해 [CLS] 토큰으로 변환되어 AesEmb가 생성됩니다. AesEmb는 훈련 시작 시 한 번만 처리됩니다. (b) 훈련 단계에서는 투영 레이어가 입력 미적 설명 (yaes)을 콘텐츠 텍스트 임베딩 (ft)과 동일한 토큰 차원의 임베딩 (fa)로 매핑합니다. 그런 다음 텍스트 임베딩 (ft)은 값 혼합 교차 어텐션을 통해 잡음 제거 네트워크에 통합됩니다. (c) 추론 단계에서는 VMix가 AesEmb에서 모든 긍정적인 미적 임베딩을 추출하여 미적 입력을 형성하고, 콘텐츠 입력과 함께 모델에 입력하여 잡음 제거 프로세스를 수행합니다.

read the caption

Figure 2: Illustration of of VMix. (a)In the initialization stage, pre-defined aesthetic labels are transformed into [CLS] tokens through CLIP, thereby obtaining AesEmb, which only need to be processed once at the beginning of training. (b)In the training stage, a project layer first maps the input aesthetic description ya⁢e⁢ssubscript𝑦𝑎𝑒𝑠y_{aes}italic_y start_POSTSUBSCRIPT italic_a italic_e italic_s end_POSTSUBSCRIPT into an embedding fasubscript𝑓𝑎f_{a}italic_f start_POSTSUBSCRIPT italic_a end_POSTSUBSCRIPT of the same token dimension as the content text embedding ftsubscript𝑓𝑡f_{t}italic_f start_POSTSUBSCRIPT italic_t end_POSTSUBSCRIPT. The text embedding ftsubscript𝑓𝑡f_{t}italic_f start_POSTSUBSCRIPT italic_t end_POSTSUBSCRIPT is then integrated into the denoising network through value-mixed cross-attention. (c)In the inference stage, VMix extract all positive aesthetic embedding from AesEmb to form the aesthetic input, along with the content input, is fed into the model for the denoising process.

🔼 그림 3은 다양한 최첨단 방법들과 비교하여 VMix의 성능을 보여줍니다. 모든 결과는 Stable Diffusion [20]을 기반으로 생성되었습니다. 제시된 예시는 다양한 텍스트 프롬프트에 대한 이미지 생성 결과를 보여주며, VMix 방법이 색상, 조명, 구성 등 미세한 심미적 차원에서 이미지 품질을 크게 향상시킨다는 것을 보여줍니다. 각각의 프롬프트에 대해 VMix를 포함한 다양한 방법들(SD, FreeU, DPO, SFT, SFT & TI)이 적용된 결과 이미지들을 비교하여 VMix의 우수성을 시각적으로 확인할 수 있습니다.

read the caption

Figure 3: Qualitative comparison with various state-of-the-art methods. All results are based on Stable Diffusion [20]. Our VMix method outperforms others, significantly enhancing the quality of image generation across various fine-grained aesthetic dimensions.

🔼 그림 4는 최첨단 기법들과 VMix의 성능을 비교한 정성적 분석 결과를 보여줍니다. 모든 결과는 SDXL [15] 기반으로 생성되었습니다. VMix는 다른 방법들보다 뛰어난 성능을 보이며 이미지 생성 품질을 크게 향상시킵니다. 각 행은 서로 다른 프롬프트(텍스트 입력)에 대한 결과를 보여주며, 각 열은 서로 다른 방법(SDXL, FreeU, DPO, SFT, SFT & TI, 그리고 제안된 VMix)으로 생성된 이미지들을 나타냅니다. 이 그림을 통해 VMix가 다양한 미묘한 미적 요소들(조명, 색상, 구성 등)을 개선하는 데 탁월하다는 것을 직관적으로 보여줍니다.

read the caption

Figure 4: Qualitative comparison with various state-of-the-art methods. All the results of the methods are based on the SDXL [15]. Our VMix method outperforms others, significantly enhancing the quality of image generation.

🔼 그림 5는 VMix를 통합한 개인화된 모델과 수정되지 않은 표준 개인화 모델에서 생성된 이미지를 비교한 정성적 결과를 보여줍니다. 왼쪽에는 VMix가 통합된 개인화 모델로 생성된 이미지가, 오른쪽에는 수정되지 않은 표준 개인화 모델로 생성된 이미지가 나열되어 있습니다. 다양한 스타일과 개인화된 모델의 비교를 통해 VMix가 이미지 품질 개선에 미치는 영향을 시각적으로 보여줍니다. 각 모델은 다양한 프롬프트를 사용하여 생성된 이미지를 보여주며, VMix 통합 여부에 따른 시각적 차이를 명확하게 비교할 수 있습니다.

read the caption

Figure 5: Qualitative results. We compare images generated by VMix-integrated personalized models with those from standard personalized models. On the left are images produced by the personalized model with VMix integration, while on the right are images from the standard personalized model without modifications.

🔼 본 그림은 VMix 사용 여부에 따른 사용자 선호도를 보여주는 사용자 연구 결과를 나타냅니다. 그림은 VMix를 사용한 이미지와 사용하지 않은 이미지 각각에 대한 사용자 선호도를 비교 분석하여 VMix의 효과를 시각적으로 보여줍니다. 구체적으로는, 여러 개의 이미지 쌍에 대해 사용자들이 어떤 이미지를 더 선호하는지에 대한 비율을 막대 그래프와 산점도로 표현하여, VMix 사용 시 사용자 선호도가 얼마나 증가하는지 정량적으로 나타냅니다.

read the caption

Figure 6: User study. We report the user preference between using VMix and not using VMix.

🔼 이 그림은 논문의 3. 방법론 섹션에 속하며, VMix 모델의 초기화 단계를 보여줍니다. 미리 정의된 심미적 레이블이 CLIP 토큰으로 변환되는 과정과, 이러한 토큰이 추론 단계에서 모델에 입력되는 방식을 시각적으로 설명합니다. 심미적 입력은 내용 입력과 함께 모델에 제공되어 이미지 생성 과정에 심미적 조건을 통합하는 방식을 보여줍니다.

read the caption

(a)

🔼 그림 2(b)는 VMix의 학습 단계를 보여줍니다. 미적 속성 설명(Yaes)은 동일한 토큰 차원을 갖는 콘텐츠 텍스트 임베딩(ft)과 동일한 토큰 차원의 임베딩(fa)으로 매핑됩니다. 텍스트 임베딩(ft)은 값 혼합 교차 어텐션을 통해 잡음 제거 네트워크에 통합됩니다. 이 과정은 미적 조건을 잡음 제거 과정에 통합하여 이미지의 미적 품질을 향상시키는 방법을 보여줍니다. 제로로 초기화된 선형 레이어를 통해 네트워크가 연결되어 있습니다.

read the caption

(b)

🔼 그림 7은 VMix의 λ에 대한 절충 연구 결과를 보여줍니다. (a)는 λ 값의 변화에 따른 시각적 성능 변화를, (b)는 λ 값이 1에서 2까지 변화할 때 VMix의 성능 지표를 평가한 결과를 나타냅니다. λ 값이 증가함에 따라 Aes 점수는 점진적으로 증가하지만 CLIP 점수는 약간 감소하는 경향을 보입니다. 하지만 VMix는 다른 방법들에 비해 여전히 상당한 이점을 유지합니다.

read the caption

Figure 7: Ablation Study for λ𝜆\lambdaitalic_λ of VMix. (a)Visual performance changes of λ𝜆\lambdaitalic_λ. (b)Performance metrics for VMix, evaluated across a range of λ𝜆\lambdaitalic_λ values from 1 to 2 from right to left.

🔼 그림 8은 VMix의 AesEmb에 대한 ablation study 결과를 보여줍니다. 왼쪽은 모든 미적 레이블을 사용한 경우와 사용하지 않은 경우의 효과를 비교하고, 오른쪽은 단일 차원 미적 레이블을 사용한 경우의 효과를 보여줍니다. 왼쪽 패널은 모든 미적 속성을 고려하여 이미지 생성을 했을 때와, 아무런 미적 속성도 고려하지 않았을 때의 결과를 비교하여 VMix 모델이 미적 세부사항을 향상시키는 데 얼마나 효과적인지 보여줍니다. 오른쪽 패널은 특정 미적 속성(예: 색상, 조명, 구도)만을 고려하여 이미지를 생성했을 때의 결과를 보여주어, 각 미적 속성이 이미지 품질에 미치는 영향을 개별적으로 분석합니다.

read the caption

Figure 8: Ablation Study for AesEmb of VMix. Left: The effects of using all aesthetic labels versus not using them. Right: The effects of using single-dimensional aesthetic labels.

🔼 표 2는 LAION-HQ10K 벤치마크 데이터셋을 사용하여 측정한 다양한 이미지 생성 모델들의 정량적 성능 비교 결과를 보여줍니다. FID(Fréchet Inception Distance) 점수는 생성된 이미지의 품질을, CLIP 점수는 텍스트와 이미지의 일관성을, AES 점수는 이미지의 미적 우수성을 각각 나타냅니다. 점수가 높을수록 성능이 우수함을 의미합니다. 이 표는 VMix 모델이 다른 최첨단 모델들에 비해 LAION-HQ10K 데이터셋에서 더 나은 성능을 보여줌을 보여주는 실험 결과를 제시합니다.

read the caption

Table 2: Quantitative results on LAION-HQ10K benchmark.

🔼 표 3은 Lora와 Value-Mixed Cross-Attention의 ablation study 결과를 보여줍니다. 실험은 MJHQ-30K 벤치마크 [10]를 사용하여 진행되었으며, 각 요소(Lora와 Value-Mixed Cross-Attention)가 성능에 미치는 영향을 개별적으로 분석하고, 두 요소를 함께 사용했을 때의 시너지 효과를 확인합니다. FID, CLIP Score, Aes Score 세 가지 지표를 사용하여 모델의 성능을 종합적으로 평가합니다. 이를 통해 VMix 모델의 성능 향상에 기여하는 주요 요소를 파악하고, 모델의 효율성과 효과를 검증합니다.

read the caption

Table 3: Ablation Study of lora and value-mixed cross-attention. Experiments were conducted on MJHQ-30K benchmark [10].