ColorFlow: Retrieval-Augmented Image Sequence Colorization

🔼 ColorFlow는 만화 이미지 시퀀스의 자동 채색을 위한 프레임워크입니다. 이 그림은 ColorFlow의 세 가지 주요 구성 요소인 검색 기반 파이프라인(RAP), 문맥 내 채색 파이프라인(ICP), 안내 초고해상도 파이프라인(GSRP)을 보여줍니다. RAP는 참조 이미지 풀에서 관련 있는 색상 패치를 검색합니다. ICP는 검색된 패치에서 문맥 정보를 활용하여 흑백 이미지를 채색합니다. GSRP는 채색된 이미지를 업샘플링하여 고해상도 출력을 생성합니다. 이러한 각 구성 요소는 흑백 이미지 시퀀스에서 인스턴스의 색상 일관성을 유지하면서 고품질 채색을 보장하는 데 필수적입니다.

read the caption

Figure 2: The overview of ColorFlow. This figure presents the three primary components of our framework: the Retrieval-Augmented Pipeline (RAP), the In-context Colorization Pipeline (ICP), and the Guided Super-Resolution Pipeline (GSRP). Each component is essential for maintaining the color identity of instances across black-and-white image sequences while ensuring high-quality colorization.

🔼 이 그림은 ColorFlow의 Patch-Wise 훈련 전략을 보여줍니다. 고해상도 이미지를 학습하는 데 필요한 계산량을 줄이기 위해, 훈련 단계에서는 이미지를 여러 패치로 나누어 학습합니다. 왼쪽 상자는 훈련 단계에서 분할된 이미지 패치와 마스크를, 오른쪽 상자는 추론 단계에서 사용되는 전체 이미지와 마스크를 보여줍니다. 이 전략을 통해 각 반복에서의 훈련 시간을 단축하고 모델의 빠른 수렴을 촉진합니다.

read the caption

Figure 3: Patch-Wise training strategy is designed to reduce the computational demands of training on high-resolution stitched images. The left box displays segmented stitched images from the training phase, with the corresponding masks also segmented accordingly. The right box presents the complete stitched image and masks for the inference phase.

🔼 이 그림은 스크린스타일 증강 기법을 보여줍니다. 왼쪽에서 오른쪽으로, 컬러 만화, 흑백 만화, 흑백 만화와 ScreenVAE 출력물 사이의 선형 보간(비율 0.66 및 0.33), ScreenVAE 출력물이 나타납니다. ScreenVAE는 컬러 만화를 일본식 흑백 스타일로 자동 변환하는 기술입니다. 본 연구에서는 흑백 이미지와 ScreenVAE 출력물을 선형적으로 보간하여 입력 이미지를 증강시켰습니다. 이를 통해 모델이 다양한 스타일에 더 잘 적응하고 색상화 성능을 향상시킬 수 있습니다.

read the caption

Figure 4: Screenstyle augmentation. From left to right: the colored manga, the grayscale manga, linear interpolations between the grayscale manga and the ScreenVAE [71] output with proportions of 0.66 and 0.33, the ScreenVAE output.

🔼 이 그림은 선택한 채색 영역(빨간색 원으로 표시)의 self-attention 맵에 대한 히트맵 시각화를 보여줍니다. Self-attention 맵은 ColorFlow 모델이 참조 이미지에서 색상 정보를 가져와 입력 이미지의 해당 영역을 채색하는 방법을 이해하는 데 도움이 됩니다. 히트맵의 밝은 부분은 모델이 해당 영역에 더 많은 주의를 기울이고 있음을 나타냅니다.

read the caption

Figure 5: Visualization of the heatmap for the self-attention map of the selected colorization region (encircled in red).

🔼 이 그림은 만화 채색 작업에서 ColorFlow를 최신 기술(SOTA) 접근 방식과 비교한 결과를 보여줍니다. ColorFlow는 참조 이미지를 사용하여 원본 이미지와 매우 유사한 색상을 생성하여 뛰어난 미적 품질을 보여줍니다. 비교 대상에는 참조 이미지를 사용하지 않는 MC-v2와 ACDO, 참조 이미지 기반 채색 모델인 EBMC와 Style2Paint가 포함됩니다. ColorFlow는 다른 모델에 비해 색상 일관성 및 정확도가 크게 향상되었습니다.

read the caption

Figure 6: Comparison of our method with SOTA approaches in the manga colorization. Our method exhibits superior aesthetic quality, producing colors that more closely match the original image. [Best viewed in color with zoom-in]

🔼 Figure 7은 애니메이션 스토리보드 채색화에서 ColorFlow와 다른 기법들을 비교한 결과를 보여줍니다. ColorFlow는 참조 이미지를 활용하여 원본 이미지의 색상과 유사하게 채색하면서 뛰어난 심미적 품질을 보여줍니다. MC-v2, EBMC, ACDO와 같은 다른 기법들은 ColorFlow만큼 정확하고 심미적으로 만족스러운 결과를 생성하지 못합니다.

read the caption

Figure 7: Comparison of ColorFlow with other approaches in the animation storyboard colorization. Our method exhibits superior aesthetic quality, producing colors that more closely match the original image. [Best viewed in color with zoom-in]

🔼 Figure 8은 ColorFlow를 사용한 라인 아트와 자연 장면의 채색 결과를 보여줍니다. 만화, 애니메이션 스토리보드뿐만 아니라 라인 아트와 자연 사진에도 ColorFlow가 효과적으로 적용될 수 있음을 보여줍니다. 이는 ColorFlow의 견고함과 적응성을 강조하며 다양한 스타일과 콘텐츠 유형을 효과적으로 처리하는 강력한 일반화 능력을 보여줍니다.

read the caption

Figure 8: Colorization results for line art and natural scenario.

🔼 이 그림은 ColorFlow라는 새로운 방법을 사용하여 흑백 만화 이미지를 컬러화한 결과를 보여줍니다. ColorFlow는 참조 이미지에서 색상 정보를 검색하고, 두 개의 브랜치 디자인을 사용하여 만화 프레임에서 캐릭터와 객체의 색상 일관성을 유지하면서 흑백 만화 이미지 시퀀스를 컬러화합니다.

read the caption

Figure 9: Colorization results of black and white manga using ColorFlow. [Best viewed in color with zoom-in]

🔼 이 그림은 ColorFlow를 사용하여 라인 아트를 채색한 결과를 보여줍니다. ColorFlow는 참조 이미지에서 색상 정보를 가져와 흑백 라인 아트에 적용하여 자연스럽고 생동감 있는 채색 결과물을 생성합니다. 다양한 라인 아트 스타일과 여러 참조 이미지를 사용한 예시를 통해 ColorFlow의 범용성과 성능을 확인할 수 있습니다.

read the caption

Figure 10: Colorization results of line art using ColorFlow. [Best viewed in color with zoom-in]

🔼 ColorFlow를 사용한 애니메이션 스토리보드 채색 결과입니다. ColorFlow는 참조 이미지를 활용하여 흑백 애니메이션 스토리보드를 자동으로 채색합니다. 결과 이미지에서 ColorFlow는 등장인물, 배경, 소품 등 다양한 요소들을 일관성 있게 채색하고, 원본 이미지의 스타일과 분위기를 잘 유지하는 것을 확인할 수 있습니다. 특히, 그림자와 하이라이트 등 세부적인 표현도 자연스럽게 구현되어 높은 품질의 결과물을 제공합니다.

read the caption

Figure 11: Colorization results of animation storyboard using ColorFlow. [Best viewed in color with zoom-in]

🔼 이 표는 Retrieval-Augmented Pipeline(RAP)과 Guided Super-Resolution Pipeline(GSRP)이 Retrieval-Augmented Image Sequence Colorization에 미치는 영향을 분석한 ablation study 결과를 보여줍니다. RAP는 관련 있는 참조 이미지에서 색상 정보를 검색하는 데 사용되며, GSRP는 색상화된 이미지의 해상도를 향상시키는 데 사용됩니다. 실험 결과는 RAP와 GSRP를 모두 사용하는 것이 최상의 성능을 제공함을 보여줍니다.

read the caption

Table 2: Ablation Study on the Influence of Retrieval-Augmentated Pipeline (RAP) and Guided Super-Resolution Pipeline (GSRP).

🔼 이 표는 추론 해상도를 변경하면서 ColorFlow 모델의 성능을 평가한 ablation study 결과를 보여줍니다. 모델은 512x800 해상도로 학습되었지만, 더 높은 해상도(1024x1600, 1280x2000)에서도 일반화 능력을 보여주는 것을 확인할 수 있습니다.

read the caption

Table 3: Ablation of Inference Resolution.

🔼 이 표는 LoRA의 Rank 값을 변경하면서 성능 변화를 측정한 ablation study 결과를 보여줍니다. LoRA는 사전 학습된 diffusion 모델에 적용되며, Rank 값이 클수록 사전 학습된 모델 가중치에 대한 변화량이 커집니다. 표에서 볼 수 있듯이 Rank 값이 너무 크거나 작으면 성능이 저하되며, 64가 최적의 Rank 값임을 보여줍니다.

read the caption

Table 4: Ablation of LoRA Rank.

🔼 이 표는 시간 단계 이동 샘플링의 영향을 보여주는 절제 연구 결과를 담고 있습니다. 색칠 작업은 주로 높은 시간 단계에서 수행되기 때문에, μ 요소를 통해 높은 시간 단계에서의 샘플링을 강화했습니다. μ = 0, 1.5, 3에 대한 실험 결과가 표에 제시되어 있으며, 이를 통해 추가적인 시간 단계 샘플링의 효과와 μ = 1.5를 사용하는 것의 유효성을 검증할 수 있습니다.

read the caption

Table 5: Ablation of Timesteps Sampling.

🔼 사용자 연구 결과를 요약한 표입니다. 심미적 품질, 원본 이미지와의 유사성, 이미지 시퀀스의 색상 ID 일관성이라는 세 가지 기준에 따라 다양한 모델의 평균 점수를 보여줍니다. 각 기준별로 점수가 높을수록 해당 측면에서 모델의 성능이 우수함을 나타냅니다.

read the caption

Table 6: Results of the User Study. The table presents the average Score for different models based on aesthetic quality, similarity to the original image, and consistency in sequences