PixelMan: Consistent Object Editing with Diffusion Models via Pixel Manipulation and Generation

🔼 그림 2는 COCOEE 데이터셋에서 여러 일관된 객체 편집 방법들을 비교한 결과를 보여줍니다. PixelMan은 객체의 위치를 재배치하는 작업에서 기존 방법들보다 낮은 지연 시간과 적은 추론 단계로 일관된 객체 편집을 달성합니다. PixelMan은 이미지 일관성을 더 잘 유지하고, 보다 응집력 있는 잉크페인팅을 수행합니다. 그림은 PixelMan을 포함한 여러 방법들의 결과 이미지들을 보여주며, 객체의 이동 전후 이미지, 배경의 변화, 그리고 객체와 배경의 조화 정도를 비교하여 PixelMan의 우수성을 시각적으로 보여줍니다.

read the caption

Figure 2: Visual comparisons on COCOEE dataset. PixelMan achieves consistent object editing for object repositioning with lower latency and fewer inference steps, while better preserving image consistency and achieving cohesive inpainting.

🔼 그림 3(a)는 COCOEE 데이터셋을 사용하여 8단계(inference step)에서 다양한 방법들의 정량적 평가 결과를 보여줍니다. 각 방법의 성능을 9가지 지표(TOPIQ, MUSIQ, LIQE, LPIPS(neg), PSNR, CLIP-T2T, CLIP-I2I)로 비교 분석하여 레이더 차트 형태로 시각화했습니다. 각 지표는 이미지 품질, 객체 일관성, 배경 일관성, 의미 일관성 등 다양한 측면을 평가합니다.

read the caption

(a) COCOEE dataset, all methods using 8 steps

🔼 그림 (b)는 논문의 실험 결과 중 하나로, COCOEE 데이터셋을 사용하여 일관된 객체 편집 작업에 대한 다양한 방법들의 성능을 비교한 것입니다. 특히, 16단계의 추론 단계를 거친 결과를 보여주는 그림입니다. 각 방법들은 객체의 위치를 변경하는 작업(object repositioning)을 수행하였으며, 결과 이미지의 품질, 객체의 일관성, 배경의 일관성, 그리고 의미적 일관성 등을 비교 분석하기 위해 사용되었습니다. 각 방법의 시각적 결과를 비교함으로써, 제안된 PixelMan 방법의 효율성과 정확성을 보다 명확하게 이해할 수 있도록 합니다.

read the caption

(b) COCOEE dataset, all methods using 16 steps

🔼 그림 (c)는 COCOEE 데이터셋을 사용하여 여러 가지 일관된 객체 편집 방법들을 50단계에 걸쳐 비교한 결과를 보여줍니다. 각 방법의 성능을 다양한 지표(예: 이미지 품질, 객체 일관성, 배경 일관성, 의미적 일관성)를 통해 정량적으로 평가하여, 50단계라는 충분한 반복 횟수에서 각 방법의 강점과 약점을 비교 분석합니다. 그림은 각 방법들이 생성한 이미지의 시각적 결과와 정량적 지표를 함께 제시하여, 다양한 측면에서의 상대적 성능을 명확하게 비교할 수 있도록 합니다.

read the caption

(c) COCOEE dataset, all methods using 50 steps

🔼 그림은 COCOEE 데이터셋에서 일관된 객체 편집 작업에 대한 다양한 방법들의 비교 결과를 보여줍니다. PixelMan은 16단계만 사용하여 객체를 재배치하는 반면, 다른 방법들은 50단계를 사용합니다. 이를 통해 PixelMan의 효율성과 성능을 보여줍니다. 그림은 객체 위치 변경 작업에 중점을 두고, PixelMan이 경쟁력 있는 다른 방법들보다 우수한 성능을 보이는 것을 시각적으로 보여주는 여러 이미지들을 포함합니다.

read the caption

(d) COCOEE dataset, PixelMan using 16 steps, others using 50 steps

🔼 본 그림은 논문의 실험 결과를 보여주는 그림으로, ReS 데이터셋을 사용하여 일관된 객체 편집 작업의 성능을 비교 분석한 결과입니다. PixelMan 모델은 16단계의 추론 과정을 거친 반면, 다른 방법들은 50단계의 추론 과정을 거쳤습니다. 이 그림은 PixelMan이 다른 방법들보다 훨씬 적은 단계로도 우수한 성능을 보여줌을 시각적으로 보여줍니다.

read the caption

(e) ReS dataset, PixelMan using 16 steps, others using 50 steps

🔼 그림 3은 다양한 일관된 개체 편집 방법들의 정규화된 평가 지표 값을 보여주는 레이더 차트입니다. TOPIQ, MUSIQ, LIQE는 이미지 품질 평가(IQA) 지표이고, LPIPS(음수)와 PSNR은 개체 일관성 지표이며, LPIPS(음수)와 PSNR은 배경 일관성 지표입니다. CLIP-T2T와 CLIP-I2I는 의미적 일관성 지표입니다. 자세한 결과와 추가 비교는 부록을 참조하십시오.

read the caption

Figure 3: Radar charts that shows normalized evaluation metric values of different methods. TOPIQ, MUSIQ, LIQE belong to IQA; LPIPS (neg) and PSNR belong to Object Consistency; LPIPS (neg) and PSNR belong to Background Consistency; and CLIP-T2T and CLIP-I2I belong to Semantic Consistency. Detailed results and additional comparisons in Appendix.

🔼 그림 4는 COCOEE 데이터셋에서 16단계로 진행된 PixelMan 모델의 여러 구성 요소에 대한 에이블레이션 결과를 보여줍니다. 각 열은 다른 에이블레이션 설정(예: EG 대신 잠재 변수 최적화 사용, 누수 방지 자기 주의 메커니즘 사용 여부, 픽셀 조작 분기 사용 여부, 소스 K,V 특징 주입 여부 등)을 적용한 결과를 나타냅니다. 각 행은 다른 이미지 편집 작업을 보여주며, 각 이미지에 대해 원본 이미지와 여러 에이블레이션 설정을 적용한 결과 이미지를 비교하여 PixelMan 모델의 각 구성 요소가 최종 결과에 미치는 영향을 시각적으로 보여줍니다. 이를 통해 PixelMan 모델의 성능에 각 구성 요소가 기여하는 정도와 각 구성 요소의 중요성을 직관적으로 이해할 수 있습니다.

read the caption

Figure 4: Ablation qualitative examples on the COCOEE dataset at 16 steps.

🔼 그림 (a)는 PixelMan이라는 모델의 세 가지 주요 구성 요소(소스 분기, 픽셀 조작 분기, 대상 분기)를 보여줍니다. 각 분기는 자체 노이즈가 있는 잠재 변수를 유지하고, 이러한 잠재 변수는 서로 다른 방식으로 초기화, 잡음 제거 및 업데이트됩니다. 소스 분기는 소스 이미지의 특징을 보존하고, 픽셀 조작 분기는 대상 위치에 소스 객체를 직접 복사하여 생성된 이미지와 소스 이미지 간의 일관성을 유지하며, 대상 분기는 픽셀 조작 이미지와 대상 이미지 사이의 차이를 생성하는 데 초점을 맞춥니다. 이 세 가지 분기는 단일 가중치 공유 UNet을 통해 효율적인 샘플링 접근 방식을 제공합니다. 픽셀 조작 잠재 변수는 앵커 역할을 하여 이미지 일관성을 유지하는 데 도움이 됩니다.

read the caption

(a) Source

🔼 그림 5는 PixelMan의 세 가지 주요 기술에 대한 ablation 연구 결과를 보여줍니다. (b)는 소스 브랜치에서 K와 V 특징을 저장하고 타겟 브랜치에 주입하는 과정을 제거한 결과입니다. 이를 통해, 소스 객체의 정보가 타겟 영역에 부적절하게 유입되는 것을 방지하는 역할을 하는 K, V 저장 및 주입 과정의 중요성을 보여줍니다. 7초의 처리 시간과 48회의 네트워크 함수 평가(NFEs)를 사용했습니다.

read the caption

(b) No Saving or Injection (7s, 48 NFEs)

🔼 표 2는 PixelMan의 핵심 기술에 대한 ablation 실험 결과를 보여줍니다. COCOEE 데이터셋(Yang et al., 2022)을 사용하여 16단계로 진행된 실험 결과입니다. ↓는 낮을수록 좋고, ↑는 높을수록 좋음을 의미합니다. 가장 좋은 성능은 굵은 글씨체로 표시되어 있습니다. 보고된 지연 시간은 V100 GPU를 사용하여 이 데이터셋에서 이미지 1개를 생성하는 데 걸린 평균 실제 시간(10회 실행 평균)을 초 단위로 나타낸 것입니다. 표에는 최적화 대상, 샘플링 방법, 누수 방지 자기 주의 메커니즘(Leak-proof Self-Attention), 픽셀 조작 브랜치(Pixel-manipulated branch), K,V 저장 및 주입 등 PixelMan의 주요 구성 요소들을 제거했을 때의 성능 변화를 정량적으로 보여주는 다양한 지표들이 포함되어 있습니다.

read the caption

Table 2: Ablation experiments on key techniques of PixelMan on the COCOEE (Yang et al. 2022) dataset at 16 steps. The ↓↓\downarrow↓ indicates lower is better, and the ↑↑\uparrow↑ means the higher the better. The best performance result is marked in bold. Our reported latency measures the average wall-clock time over 10 runs for generating 1 image on this dataset in seconds with a V100 GPU.

🔼 표 3은 COCOEE 데이터셋(Yang et al., 2022)을 사용하여 PixelMan과 다른 방법들을 비교 분석한 결과를 보여줍니다. 비교 대상 방법은 Self-Guidance(Epstein et al., 2023), DragonDiffusion(Mou et al., 2024b), DiffEditor(Mou et al., 2024a)와 학습 기반 SDv2-Inpainting+AnyDoor(Rombach et al., 2022; AI 2022b; Chen et al., 2024b) 기준 방법이 포함됩니다. 화살표는 지표의 방향(↓는 낮을수록 좋고 ↑는 높을수록 좋음)을 나타내며, 최고 성능은 굵은 글씨체로, 두 번째로 좋은 성능은 밑줄로 표시되어 있습니다. V100 GPU를 사용하여 10회 반복 측정한 평균 처리 시간(초)이 표시되어 있습니다.

read the caption

Table 3: Quantitative results on the COCOEE (Yang et al. 2022) dataset. Comparing PixelMan with other methods including Self-Guidance (Epstein et al. 2023), DragonDiffusion (Mou et al. 2024b), DiffEditor (Mou et al. 2024a), and the training-based SDv2-Inpainting+AnyDoor (Rombach et al. 2022; AI 2022b; Chen et al. 2024b) baseline. The ↓↓\downarrow↓ indicates lower is better, and the ↑↑\uparrow↑ means the higher the better. The best performance result is marked in bold and the second best result is annotated with underlines. Our reported latency measures the average wall-clock time over ten runs for generating one image on this dataset in seconds with a V100 GPU.

🔼 표 4는 ReS 데이터셋(Yang et al., 2022)에 대한 정량적 결과를 보여줍니다. PixelMan과 Self-Guidance(Epstein et al., 2023), DragonDiffusion(Mou et al., 2024b), DiffEditor(Mou et al., 2024a), 그리고 학습 기반 SDv2-Inpainting+AnyDoor(Rombach et al., 2022; AI 2022b; Chen et al., 2024b) 기준 모델을 비교 분석했습니다. ↓는 낮을수록 좋고, ↑는 높을수록 좋다는 것을 의미합니다. 최고 성능 결과는 굵게 표시하고, 두 번째로 좋은 결과는 밑줄로 표시했습니다. 보고된 지연 시간은 V100 GPU를 사용하여 이 데이터셋에서 하나의 이미지를 생성하는 데 걸린 평균 실제 시간(10회 실행 평균)입니다.

read the caption

Table 4: Quantitative results on the ReS (Yang et al. 2022) dataset. Comparing PixelMan with other methods including Self-Guidance (Epstein et al. 2023), DragonDiffusion (Mou et al. 2024b), DiffEditor (Mou et al. 2024a), and the training-based SDv2-Inpainting+AnyDoor (Rombach et al. 2022; AI 2022b; Chen et al. 2024b) baseline. The ↓↓\downarrow↓ indicates lower is better, and the ↑↑\uparrow↑ means the higher the better. The best performance result is marked in bold and the second best result is annotated with underlines. Our reported latency measures the average wall-clock time over ten runs for generating one image on this dataset in seconds with a V100 GPU.

🔼 표 5는 COCOEE 데이터셋(Yang et al., 2022)에 대한 정량적 결과를 보여줍니다. PixelMan과 PAIR Diffusion (Goel et al., 2023), InfEdit (Xu et al., 2024)를 포함한 추가적인 기준 모델들을 비교 분석했습니다. 화살표는 지표의 크기가 좋음을 나타내며(↓: 낮을수록 좋음, ↑: 높을수록 좋음), 가장 좋은 성능은 굵게 표시하고 두 번째로 좋은 성능은 밑줄로 표시했습니다. 지연 시간은 V100 GPU에서 이 데이터셋에 대해 이미지 하나를 생성하는 데 걸리는 평균 벽시계 시간(10회 실행)을 나타냅니다.

read the caption

Table 5: Quantitative results on the COCOEE (Yang et al. 2022) dataset. Comparing PixelMan with additional baselines including PAIR Diffusion (Goel et al. 2023) and InfEdit (Xu et al. 2024). The ↓↓\downarrow↓ indicates lower is better, and the ↑↑\uparrow↑ means the higher the better. The best performance result is marked in bold and the second best result is annotated with underlines. Latency measures the average wall-clock time over ten runs for generating one image on this dataset in seconds with a V100 GPU.

🔼 표 6은 ReS 데이터셋(Yang et al., 2022)에서 PixelMan과 PAIR Diffusion(Goel et al., 2023), InfEdit(Xu et al., 2024)를 포함한 추가적인 기준 모델들을 비교 분석한 결과를 보여줍니다. 화살표 기호(↓, ↑)는 각 지표에 대한 평가 기준을 나타내며, ↓는 값이 낮을수록 좋음을, ↑는 값이 높을수록 좋음을 의미합니다. 가장 좋은 성능은 굵은 글씨체로, 두 번째로 좋은 성능은 밑줄로 표시했습니다. 지연 시간(Latency)은 V100 GPU에서 하나의 이미지를 생성하는 데 걸린 평균 시간(10회 실행 평균)을 초 단위로 나타냅니다. 표에는 효율성(Efficiency; #NFEs, Latency), 이미지 품질 평가(Image Quality Assessment; TOPIQ, MUSIQ, LIQE), 객체 일관성(Object Consistency; LPIPS, PSNR), 배경 일관성(Background Consistency; LPIPS, PSNR), 의미 일관성(Semantic Consistency; CLIP-T2T, CLIP-I2I) 등 다양한 측면에서의 성능 비교 결과가 포함되어 있습니다.

read the caption

Table 6: Quantitative on the ReS (Yang et al. 2022) dataset. Comparing PixelMan with additional baselines including PAIR Diffusion (Goel et al. 2023) and InfEdit (Xu et al. 2024). The ↓↓\downarrow↓ indicates lower is better, and the ↑↑\uparrow↑ means the higher the better. The best performance result is marked in bold and the second best result is annotated with underlines. Latency measures the average wall-clock time over ten runs for generating one image on this dataset in seconds with a V100 GPU.