CLEAR: Conv-Like Linearization Revs Pre-Trained Diffusion Transformers Up

🔼 그림 2는 제안된 선형화된 DiT와 원래 FLUX-1-dev 모델의 속도와 GFLOPS를 비교한 그래프입니다. 단일 H100 GPU에서 20회의 잡음 제거 단계를 수행하여 속도를 평가했으며, FLOPS는 4×∑M×c라는 근사치를 사용하여 계산했습니다. 여기서 c는 특징 차원이고, M은 어텐션 마스크를 나타냅니다. 가시성을 높이기 위해, 세로축에는 log2 스케일을 적용했습니다. 자세한 데이터는 부록에 수록되어 있습니다.

read the caption

Figure 2: Comparison of speed and GFLOPS between the proposed linearized DiT and the original FLUX.1-dev. Speed is evaluated by performing 20 denoising steps on a single H100 GPU. FLOPS is calculated with the approximation: 4×∑M×c4𝑀𝑐4\times\sum M\times c4 × ∑ italic_M × italic_c, where c𝑐citalic_c is the feature dimension and M𝑀Mitalic_M denotes the attention masks. log2subscript2\log_{2}roman_log start_POSTSUBSCRIPT 2 end_POSTSUBSCRIPT is applied on both vertical axes for better visualization. The raw data are supplemented in the appendix.

🔼 그림 3은 FLUX-1.dev 모델에서 다양한 효율적인 어텐션 메커니즘을 적용했을 때의 초기 결과를 보여줍니다. ‘들판 위에 앉아 있는 작은 파란색 비행기’ 라는 프롬프트를 사용하여 생성한 이미지들을 비교 분석하여 어떤 메커니즘이 사전 훈련된 DiT를 선형화하는 데 가장 효과적인지 확인하기 위한 것입니다. 각 메커니즘은 이미지 생성의 속도, 정확도 및 메모리 효율성 측면에서 상이한 결과를 나타냅니다. 이 그림은 본 논문의 3장, 효율적인 어텐션 메커니즘의 분석과 비교를 통해 얻은 결과를 시각적으로 제시합니다.

read the caption

Figure 3: Preliminary results of various efficient attention methods on FLUX-1.dev. The prompt is “A small blue plane sitting on top of a field”.

🔼 이 그림은 사전 훈련된 확산 트랜스포머(DiT)에서 중간 잡음 제거 단계에 대한 다양한 헤드의 어텐션 맵을 시각화한 것입니다. 각 맵은 토큰 간의 관계를 보여주며, 어두운 색은 낮은 상관관계를, 밝은 색은 높은 상관관계를 나타냅니다. 이 그림을 통해 사전 훈련된 DiT의 어텐션 메커니즘이 주로 지역적(local) 상호 작용에 집중함을 보여줍니다. 즉, 각 토큰은 주변의 작은 영역 내의 다른 토큰들과 주로 상호작용한다는 것을 시각적으로 보여줍니다. 이는 효율적인 선형화 전략을 설계하는 데 중요한 통찰력을 제공합니다.

read the caption

Figure 4: Visualization of attention maps by various heads for an intermediate denoising step. Attention in pre-trained DiTs is largely conducted in a local fashion.

🔼 그림 5는 회전 위치 임베딩에 필요한 상대 거리를 잘라서 원격 특징과 지역 특징을 각각 변경해본 실험 결과를 보여줍니다. 원격 특징을 변경해도 이미지 품질에는 큰 영향이 없지만, 지역 특징을 변경하면 이미지 왜곡이 심하게 발생합니다. 그림 3과 동일한 텍스트 프롬프트와 원본 생성 결과를 사용했습니다. 이 그림은 회전 위치 임베딩에서 지역적 특징 정보가 얼마나 중요한지를 보여주는 실험 결과를 시각적으로 보여주는 역할을 합니다.

read the caption

Figure 5: We try perturbing remote and local features respectively through clipping the relative distances required for rotary position embedding. Perturbing remote features has no obvious impact on image quality, whereas altering local features results in significant distortion. The text prompt and the original generation result are consistent with Fig. 3.

🔼 본 그림은 제안된 합성곱과 유사한 선형화 전략을 사전 훈련된 DiT에 적용한 것을 보여줍니다. 각 텍스트-이미지 조인트 어텐션 모듈에서 텍스트 쿼리는 모든 텍스트 및 이미지 토큰으로부터 정보를 집계하지만, 각 이미지 토큰은 국부 원형 윈도우 내의 토큰으로부터만 정보를 수집합니다. 이 그림을 통해 텍스트 정보는 전체 이미지에 대한 맥락을 제공하지만, 이미지 토큰 간의 관계는 국부적으로 처리되어 계산 복잡도를 줄이는 방법을 시각적으로 보여줍니다.

read the caption

Figure 6: Illustration of the proposed convolution-like linearization strategy for pre-trained DiTs. In each text-image joint attention module, text queries aggregate information from all text and image tokens, while each image token gathers information only from tokens within a local circular window.

🔼 이 그림은 논문의 3.4절 ‘다중 GPU 병렬 추론’ 부분에 해당하며, 다중 GPU 환경에서 효율적인 병렬 처리를 위한 CLEAR 방법의 구조를 보여줍니다. 각 GPU는 이미지의 일부 영역(패치)만 처리하며, 텍스트 질의는 할당된 GPU의 패치에서 키-값 토큰만 집계합니다. 모든 GPU의 어텐션 결과를 평균하여 최종 결과를 도출하는 방식입니다. 이러한 접근 방식을 통해 고품질 이미지를 생성하면서 계산 효율성을 높일 수 있습니다.

read the caption

Figure 7: To enhance multi-GPU parallel inference, each text query aggregates only the key-value tokens from the patch managed by its assigned GPU, then averages the attention results across all GPUs, which also generates high-quality images.

🔼 그림 8은 CLEAR를 적용한 선형화된 FLUX-1.dev 모델과 원본 모델이 생성한 이미지들을 보여줍니다. 각 이미지는 동일한 프롬프트를 사용하여 생성되었으며, CLEAR를 통해 선형화된 모델이 원본 모델과 비슷한 수준의 이미지 품질을 유지하면서도 계산 효율성을 크게 향상시켰음을 보여줍니다. 이미지의 크기와 세부 묘사를 비교해 보면, 선형화 과정에서 이미지의 중요한 특징들이 잘 보존되었음을 확인할 수 있습니다.

read the caption

Figure 8: Qualitative examples by the linearized FLUX-1.dev models with CLEAR and the original model.

🔼 그림 9는 제시된 CLEAR 방법을 사용하여 고해상도 이미지 생성(왼쪽), FLUX-1.schnell 모델에 제로샷 방식으로 적용(가운데), 그리고 ControlNet을 이용한 이미지 생성(오른쪽)의 정성적 결과를 보여줍니다. 왼쪽 열은 SDEdit을 사용하여 저해상도 이미지에서 고해상도 이미지를 생성한 결과를 보여주고, 가운데 열은 FLUX-1.dev 모델에서 학습된 CLEAR 모듈을 FLUX-1.schnell 모델에 적용했을 때의 결과를, 오른쪽 열은 ControlNet 플러그인과 함께 CLEAR 방법을 사용한 결과를 보여줍니다. G.T.는 Ground Truth 이미지를, Cond.는 Condition 이미지를 각각 나타냅니다.

read the caption

Figure 9: Qualitative examples of using CLEAR with SDEdit [40] for high-resolution generation (left), FLUX-1.schnell in a zero-shot manner (middle), and ControlNet [69] (right). G.T. and Cond. denote ground-truth and condition images, separately.

🔼 이 그림은 논문의 4.3절 실험적 연구 부분에 속하며, 실제 데이터로 미세 조정하는 것보다 자체 생성 합성 데이터로 미세 조정하는 것이 성능이 더 우수함을 보여줍니다. 그래프는 훈련 단계에 따른 손실 값의 변화를 보여주는데, 합성 데이터를 사용한 경우 손실이 훨씬 빨리 감소하고 더 낮은 수준에 도달하는 것을 알 수 있습니다. 이는 합성 데이터가 모델의 훈련 과정에 더 적합한 분포를 가지고 있음을 시사합니다. 실제 데이터는 모델이 학습 과정에서 어려움을 겪는 분포를 가지고 있어 훈련이 더 어려워짐을 보여줍니다.

read the caption

Figure 10: Fine-tuning on real data results in inferior performance compared to fine-tuning on self-generated synthetic data.

🔼 그림 11은 본 논문에서 FLUX-1.dev 모델에 다양한 효율적인 어텐션 메커니즘을 적용했을 때의 학습 동향을 보여줍니다. 각각의 효율적인 어텐션 기법 (Sigmoid Attention, Linear Attention, PixArt-Sigma, Agent Attention, Strided Attention, Swin Transformer)을 FLUX-1.dev 모델에 적용하여 학습시켰을 때의 손실 함수 값 변화를 반복 횟수에 따라 나타낸 그래프입니다. 이 그래프를 통해 각 기법의 수렴 속도와 안정성을 비교 분석하여, 어떤 어텐션 메커니즘이 FLUX-1.dev 모델에 가장 적합한지, 그리고 효율성과 성능 간의 균형을 어떻게 맞출 수 있는지를 보여줍니다. 특히, 본 논문에서 제안하는 CLEAR 방법의 학습 결과도 포함되어 있어, 기존 방법들과 비교하여 CLEAR의 효율성과 성능을 확인할 수 있습니다.

read the caption

Figure 11: Training dynamics of various efficient attention alternatives on FLUX-1.dev.

🔼 그림 12는 CLEAR 기법을 사용하여 선형화된 DiT(Diffusion Transformer)가 고해상도 추론을 위한 다양한 파이프라인과 호환됨을 보여줍니다. 즉, 기존의 고해상도 이미지 생성을 위한 여러 기법들(예: SDEdit, I-Max)과도 문제없이 연동되어 고품질의 고해상도 이미지를 생성할 수 있음을 시각적으로 보여주는 그림입니다. 그림 15에는 사용된 프롬프트가 나와있습니다.

read the caption

Figure 12: The linearized DiTs by CLEAR are compatible with various pipelines dedicated for high-resolution inference. The prompt is shown in Fig. 15.

🔼 그림 13은 FLUX-1.dev(상단)과 SD3.5-Large(하단) 모델을 사용하여 생성한 이미지의 질적 비교 결과를 보여줍니다. 왼쪽은 원본 모델의 결과이고, 오른쪽은 CLEAR 선형화 모델의 결과입니다. 각 이미지에 사용된 프롬프트는 그림 16에 나열되어 있습니다. 이 그림은 원본 모델과 CLEAR 선형화 모델의 이미지 생성 품질을 직접적으로 비교하여 CLEAR 선형화 기법의 효과를 시각적으로 보여주는 역할을 합니다. 두 모델의 성능 차이를 좀 더 명확하게 비교하기 위해, 같은 프롬프트를 사용하여 생성된 이미지들을 나란히 배치하여 비교 분석하도록 구성되어 있습니다.

read the caption

Figure 13: Qualitative comparisons on FLUX-1.dev (top) and SD3.5-Large (bottom). The left subplots are results by the original models while the right ones are by the CLEAR linearized models. Prompts are listed in Fig. 16.

🔼 표 2는 본 논문에서 제안된 CLEAR 모델을 포함하여 기존의 효율적인 어텐션 메커니즘과 원본 FLUX-1.dev 모델의 정량적 결과를 비교 분석한 표입니다. COCO2014 검증 데이터셋의 5,000개 이미지를 사용하여 1024x1024 해상도로 평가되었으며, FID, LPIPS, CLIP-I, DINO, IS, GFLOPS 등 다양한 지표를 통해 성능을 측정했습니다. 다양한 r (수신 범위) 값에 따른 CLEAR 모델의 성능 변화를 확인할 수 있습니다. 이를 통해 CLEAR 모델의 효율성과 성능을 정량적으로 보여줍니다.

read the caption

Table 2: Quantitative results of the original FLUX-1.dev, previous efficient attention methods, and CLEAR proposed in this paper with various r𝑟ritalic_r on 5,000 images from the COCO2014 validation dataset at a resolution of 1024×1024102410241024\times 10241024 × 1024.

🔼 표 3은 원본 FLUX-1.dev 모델과 다양한 크기의 지역적 수용 범위(r)를 갖는 제안된 CLEAR 방법의 정량적 결과를 보여줍니다. COCO2014 검증 데이터셋의 1,000개 이미지를 사용하여 2048x2048 및 4096x4096 해상도에서 평가했습니다. FID, LPIPS, CLIP-I, DINO, PSNR, SSIM 지표를 통해 이미지 품질 및 유사성을 평가하였습니다. 이 표는 제안된 방법이 다양한 해상도에서도 원본 모델과 비슷하거나 더 나은 성능을 보이는지 확인하는 데 도움이 됩니다.

read the caption

Table 3: Quantitative results of the original FLUX-1.dev and our CLEAR with various r𝑟ritalic_r on 1,000 images from the COCO2014 validation dataset at resolutions of 2048×2048204820482048\times 20482048 × 2048 and 4096×4096409640964096\times 40964096 × 4096.

🔼 이 표는 FLUX-1.dev에서 학습된 CLEAR 계층을 FLUX-1.schnell에 적용했을 때의 정량적 제로샷 일반화 결과를 보여줍니다. FLUX-1.dev 모델에서 학습된 CLEAR 모듈을 FLUX-1.schnell 모델에 적용하여 성능 저하 없이 제로샷으로 일반화가 잘 되는지 평가한 결과입니다. FID, LPIPS, CLIP-I, DINO 지표를 사용하여 원본 모델과의 성능 차이를 비교 분석합니다.

read the caption

Table 4: Quantitative zero-shot generalization results to FLUX-1.schnell using CLEAR layers trained on FLUX-1.dev.

🔼 이 표는 제안된 CLEAR 기법을 사전 훈련된 ControlNet에 적용했을 때의 제로샷 일반화 성능을 보여줍니다. 회색조 이미지 조건을 사용하여 COCO2014 검증 데이터셋의 1,000개 이미지에 대해 평가했습니다. RMSE는 조건 이미지와 비교하여 계산된 제곱근 평균 제곱 오차를 나타냅니다. 표에는 FID, LPIPS, CLIP-I, DINO와 같은 다양한 지표와 함께 PSNR, SSIM 및 RMSE 점수가 포함되어 있어, CLEAR의 이미지 생성 품질 및 조건 이미지와의 일관성을 다각적으로 평가할 수 있습니다.

read the caption

Table 5: Quantitative zero-shot generalization results of the proposed CLEAR to a pre-trained ControlNet with grayscale image conditions on 1,000 images from the COCO2014 validation dataset. RMSE here denotes Root Mean Squared Error computed against condition images.

🔼 표 6은 식 7에서 근사치를 사용하여 다양한 패치 수를 사용한 패치별 다중 GPU 병렬 추론 결과를 보여줍니다. 이 표는 다양한 GPU 수에 따른 처리 시간과 처리량을 비교하여 CLEAR 모델의 확장성과 효율성을 보여줍니다. 특히, 텍스트 토큰에 대한 정보를 모든 이미지 토큰에서 가져와야 하는 제약에도 불구하고, CLEAR 모델이 다중 GPU 환경에서 효율적으로 작동함을 보여줍니다. 단일 GPU와 비교하여 처리 시간이 얼마나 단축되는지, 그리고 다양한 GPU 수에 따른 성능 향상을 정량적으로 제시합니다.

read the caption

Table 6: Results of patch-wise multi-GPU parallel inference with various numbers of patches using the approximation in Eq. 7.

🔼 표 7은 논문의 그림 2에서 보여지는 효율성 비교 결과에 대한 원시 데이터를 보여줍니다. 그림 2는 제안된 선형화된 DiT(확산 변환기)와 기존 FLUX-1-dev 모델의 속도와 GFLOPS(초당 부동 소수점 연산 수)를 비교한 그래프입니다. 표 7은 이 그래프를 생성하는 데 사용된 실제 데이터 값들을 보여주어, 그림 2의 결과에 대한 상세한 수치적 근거를 제공합니다. 픽셀 수에 따른 속도(이미지 생성 시간)와 GFLOPS(계산 복잡도)를 보여주는 값들이 포함되어 있습니다.

read the caption

Table 7: Raw data for Fig. 2 on efficiency comparisons.

🔼 표 8은 본 논문에서 제안된 CLEAR 방법을 사용하여 선형화된 Stable Diffusion 3-Large 모델과 원본 모델의 정량적 결과를 비교 분석한 표입니다. COCO2014 검증 데이터셋의 5,000개 이미지를 사용하여 1024x1024 해상도에서 FID, LPIPS, CLIP-I, DINO 점수를 측정하였습니다. CLEAR 모델의 성능이 원본 모델과 얼마나 유사한지, 그리고 계산 효율성 측면에서 얼마나 개선되었는지를 보여줍니다.

read the caption

Table 8: Quantitative results of the original SD3-Large and its linearized version by CLEAR proposed in this paper on 5,000 images from the COCO2014 validation dataset at a resolution of 1024×1024102410241024\times 10241024 × 1024.

🔼 이 표는 제안된 CLEAR 기법을 사전 훈련된 ControlNet에 적용했을 때의 제로샷 일반화 성능을 보여줍니다. 타일 이미지 조건과 흐릿한 이미지 조건 하에서 COCO2014 검증 데이터셋의 1,000개 이미지를 사용하여 평가했습니다. RMSE는 조건 이미지에 대한 제곱근 평균 제곱 오차를 나타냅니다. 즉, CLEAR가 ControlNet과 얼마나 잘 호환되는지, 그리고 다양한 이미지 스타일(타일, 흐릿함)에 대한 일반화 능력을 정량적으로 보여줍니다. FID, LPIPS, CLIP-I, DINO와 같은 다양한 지표를 사용하여 이미지 품질과 유사성을 평가합니다.

read the caption

Table 9: Quantitative zero-shot generalization results of the proposed CLEAR to a pre-trained ControlNet with tiled image conditions and blur image conditions on 1,000 images from the COCO2014 validation dataset. RMSE here denotes Root Mean Squared Error computed against condition images.

🔼 표 10은 HGX H100 8-GPU 서버에서 50개의 디노이징 단계에 대한 다중 GPU 병렬 추론의 효율성을 초당 시간(sec./50 steps)과 계층당 TFLOPS(TFLOPS/Layer)로 측정한 결과를 보여줍니다. 비동기식 통신을 위해 Distrifusion [34]을 FLUX-1.dev에 적용했습니다. 가속 비율은 빨간색으로 강조 표시되어 있습니다. GPU당 처리되는 패치 크기가 경계 크기보다 작기 때문에 1024x1024 해상도에서 r=16인 CLEAR의 결과는 사용할 수 없습니다(NA). OOM은 메모리 부족 오류를 나타냅니다. 표는 다양한 해상도(1024x1024, 2048x2048, 4096x4096, 8192x8192)에서 GPU 개수(1, 2, 4, 8)에 따른 FLUX-1.dev와 CLEAR (r=8, r=16, r=32)의 실행 시간 및 TFLOPS를 비교 분석하여, 제안된 CLEAR 방법의 병렬 처리 성능 향상 효과를 정량적으로 보여줍니다.

read the caption

Table 10: Efficiency of multi-GPU parallel inference measured by sec./50 denoising steps on a HGX H100 8-GPU server. We adapt Distrifusion [34] to FLUX-1.dev here for asynchronous communication. The ratios of acceleration are highlighted with red. Results of CLEAR with r=16𝑟16r=16italic_r = 16 at the 1024×1024102410241024\times 10241024 × 1024 resolution are not available (NA) because the patch size processed by each GPU is smaller than the boundary size. OOM denotes encountering out-of-memory error.