From Elements to Design: A Layered Approach for Automatic Graphic Design Composition

🔼 그림 2는 제안된 LaDeCo의 작동 방식을 보여줍니다. 먼저, 입력 요소들에 대한 의미론적 레이블을 주석 처리하기 위해 GPT-4o [1]를 사용합니다. 예측을 통해 계층 구조를 얻은 후, LaDeCo는 LMM(Large Multimodal Model)을 미세 조정하여 계층적 디자인 구성을 수행합니다. 각 계층을 생성한 후, 중간 디자인 결과를 이미지로 렌더링하여 LMM에 다시 입력으로 제공하여 후속 계층 생성을 안내합니다. 즉, 배경부터 장식 요소까지 각 레이어별로 디자인 요소들을 생성하고, 이전 레이어의 결과를 다음 레이어 생성에 반영하여 최종 디자인을 완성하는 과정입니다.

read the caption

Figure 2: Illustration of our proposed LaDeCo. First, it utilizes GPT-4o [1] to annotate the semantic labels for input elements. The layer structure is obtained from the predictions. Then LaDeCo fine-tunes LMMs to achieve layered design composition. After generating each layer, the intermediate designs will be rendered as images and fed back into LMMs to guide subsequent layer generation.

🔼 그림 3은 제안된 LaDeCo 방법과 기존 방법(FlexDM, GPT-40) 및 실제 디자인(GT)을 비교하여 디자인 합성 성능을 보여줍니다. 여러 디자인 예시를 보여주며, 각 방법의 결과물을 실제 디자인과 나란히 배치하여 직관적인 비교를 가능하게 합니다. 자세히 보시려면 확대해서 보세요.

read the caption

Figure 3: Qualitative comparison. We also show the ground truth designs for these samples. Please zoom in for a better view.

🔼 그림 4는 LaDeCo가 각 레이어별로 생성한 결과물들을 보여줍니다. 배경, 하단 레이어, 로고/이미지, 텍스트, 장식 요소 등 5가지 레이어로 나뉘어 각 레이어별 생성 결과가 순차적으로 나타나 있습니다. 이를 통해 LaDeCo의 계층적 디자인 생성 과정을 시각적으로 이해하는 데 도움을 줍니다. 각 레이어는 이전 레이어의 결과를 바탕으로 생성되므로, 전체 디자인의 일관성과 조화로움을 확인할 수 있습니다.

read the caption

Figure 4: The rendered results of different layers from LaDeCo.

🔼 그림 5는 LaDeCo가 동일한 입력 요소를 사용하여 다양한 캔버스 크기의 디자인을 생성하는 과정을 보여줍니다. 같은 요소들로도 캔버스 크기에 따라 디자인의 레이아웃과 요소들의 크기 및 배치가 어떻게 조정되는지를 보여주는 여러 디자인 사례들이 제시되어 있습니다. 이를 통해 LaDeCo가 다양한 크기의 캔버스에 적응하여 일관되고 시각적으로 만족스러운 디자인을 생성할 수 있는 능력을 강조합니다.

read the caption

Figure 5: LaDeCo composes the same input elements to designs with different canvas sizes.

🔼 기존 디자인에 LaDeCo가 새로운 요소를 추가하여 더욱 매력적인 디자인을 만드는 과정을 보여줍니다. 기존 디자인에 새로운 요소들을 추가하는 방법과 그 결과를 시각적으로 보여주는 여러 예시들이 포함되어 있습니다. 각 예시는 새로운 요소들이 추가되기 전과 후의 디자인을 비교하여, LaDeCo가 디자인의 시각적 매력도를 높이는 데 효과적임을 보여줍니다.

read the caption

Figure 6: LaDeCo adds new elements on a existing design to achieve a more appealing design.

🔼 그림 7은 동일한 요소들을 사용하여 LaDeCo가 다양한 디자인을 생성할 수 있음을 보여줍니다. 즉, 동일한 입력 요소 집합에도 불구하고 LaDeCo는 디자인의 레이아웃, 색상, 글꼴, 이미지 배치 등을 다르게 구성하여 여러 가지 시각적으로 매력적이고 다채로운 결과물을 만들어낼 수 있습니다. 이는 LaDeCo의 유연성과 창의성을 보여주는 좋은 예시입니다. 이는 디자인 변형 기능을 강조합니다.

read the caption

Figure 7: LaDeCo creates diverse designs with the same elements.

🔼 그림 8은 콘텐츠 인식 레이아웃 생성 작업에 대한 정성적 비교를 보여줍니다. 노란색, 빨간색, 녹색, 분홍색 상자는 각각 언더레이, 이미지, 텍스트, 장식 요소를 나타냅니다. 이 그림은 다양한 방법(PosterLlama, PosterLLaVA, LaDeCo, GT)으로 생성된 콘텐츠 인식 레이아웃의 시각적 비교를 보여주어 각 모델의 강점과 약점을 파악하는 데 도움이 됩니다. 각 모델의 출력물은 레이아웃 구성, 콘텐츠 관련성, 타이포그래피 및 색상, 그래픽 및 이미지, 혁신성 및 독창성 측면에서 평가될 수 있습니다.

read the caption

Figure 8: Qualitative comparison on the content-aware layout generation task. The yellow, red, green, pink boxes represent underlay, image, text, and embellishment elements, respectively.

🔼 그림 9는 본 논문의 타이포그래피 생성에 대한 정성적 비교 결과를 보여줍니다. FlexDM과 OpenCOLE을 비롯한 다른 기존 방법들과 LaDeCo의 결과를 비교하여 LaDeCo의 우수성을 보여줍니다. LaDeCo는 텍스트 레이아웃, 미적 요소, 가독성 등 여러 측면에서 더 나은 성능을 보여주는 것을 확인할 수 있습니다. 특히, 기존 방법들에서 나타나는 텍스트 중첩이나 가독성 저하와 같은 문제점들을 LaDeCo가 효과적으로 해결했음을 시각적으로 보여줍니다.

read the caption

Figure 9: Qualitative comparison on typography generation.

🔼 그림 10은 LaDeCo가 생성한 다양한 그래픽 디자인들을 보여줍니다. 각 디자인은 다양한 스타일, 색상, 레이아웃, 그리고 시각적 요소들을 사용하여 만들어졌으며, LaDeCo 모델의 다양한 디자인 생성 능력을 보여주는 좋은 예시입니다. 이 그림은 배경, 텍스트, 이미지, 기타 장식 요소 등 다양한 요소들이 어떻게 조화롭게 구성되는지를 보여주며, LaDeCo 모델의 레이어 기반 접근 방식의 효과를 시각적으로 보여줍니다.

read the caption

Figure 10: A gallery of graphic designs created by LaDeCo.

🔼 그림 11은 LaDeCo의 계층적 디자인 구성 과정을 보여줍니다. LaDeCo는 배경, 하단 레이어, 로고/이미지, 텍스트, 장식 요소 순서로 전체 디자인을 생성합니다. 각 레이어는 특정한 시각적 요소들을 포함하며, 이전 레이어의 결과를 바탕으로 다음 레이어가 생성됩니다. 이러한 계층적 접근 방식은 디자인 구성 과정을 더욱 체계적이고 효율적으로 만들어 줍니다. 각 레이어의 예시 이미지를 통해 각 레이어의 역할과 전체 디자인 구성에 대한 이해를 도울 수 있습니다.

read the caption

Figure 11: The layered design composition process in LaDeCo. Our approach generates a holistic design in the order of background, underlay, logo/image, text, and embellishment layers.

🔼 그림 12는 동일한 입력에도 LaDeCo가 다양한 디자인을 생성할 수 있음을 보여주는 추가적인 결과입니다. 그림에는 다양한 스타일과 레이아웃을 가진 여러 디자인이 포함되어 있으며, LaDeCo의 유연성과 다양한 디자인 생성 능력을 강조합니다. 각 디자인은 배경, 언더레이, 로고/이미지, 텍스트, 장식 요소 등 여러 레이어로 구성되어 있으며, 각 레이어의 요소들이 조화롭게 배치되어 시각적으로 매력적인 결과물을 만들어냅니다. 이는 LaDeCo가 다양한 디자인 요구사항을 충족할 수 있는 잠재력을 보여줍니다.

read the caption

Figure 12: More results to demonstrate that LaDeCo can create diverse designs with the same input.

🔼 이 그림은 LaDeCo 모델이 다양한 종횡비(aspect ratio)를 가진 그래픽 디자인을 생성할 수 있음을 보여주는 추가적인 결과물들을 보여줍니다. 다양한 크기의 캔버스에 적용된 디자인들을 통해 모델의 유연성과 적응력을 확인할 수 있습니다. 각 디자인은 배경, 하단 레이어, 로고/이미지, 텍스트, 장식 요소 등 다양한 레이어로 구성되어 있으며, 각 레이어의 요소들은 종횡비에 맞춰 조정되어 있습니다.

read the caption

Figure 13: More results to demonstrate that LaDeCo is able to generate graphic designs with different aspect ratios.

🔼 이 그림은 LaDeCo가 기존 디자인에 새로운 요소를 자연스럽게 추가할 수 있음을 보여주는 추가적인 결과들을 보여줍니다. 각각의 이미지 쌍은 기존 디자인과 새로운 요소들을 추가한 후의 디자인을 보여줍니다. LaDeCo는 새로운 요소들이 기존 디자인과 시각적으로 조화롭게 어울리도록 배치하고 스타일을 일관성 있게 유지합니다. 이는 LaDeCo가 단순히 요소들을 추가하는 것이 아니라 디자인의 전체적인 조화와 일관성을 고려하여 새로운 요소들을 통합한다는 점을 보여줍니다.

read the caption

Figure 14: More results to demonstrate that LaDeCo can add new elements to an existing design in a plausible way.

🔼 그림 15는 LaDeCo의 디자인 구성 능력의 우수성을 보여주는 정성적 비교를 보여줍니다. FlexDM, GPT-40, LaDeCo 세 가지 방법으로 생성된 디자인과 실제 디자인(GT)을 나란히 비교하여 시각적으로 LaDeCo의 성능을 보여줍니다. 각 방법의 디자인 결과는 레이아웃, 색상 조합, 폰트 선택, 이미지 배치 등 다양한 측면에서 차이를 보이며, LaDeCo가 가장 실제 디자인(GT)과 유사한 결과를 생성했음을 확인할 수 있습니다.

read the caption

Figure 15: More qualitative comparison to demonstrate the superiority of LaDeCo in design composition.

🔼 그림 16은 LaDeCo가 콘텐츠 인식 레이아웃 생성에서 우수성을 보여주는 보다 정성적인 비교를 보여줍니다. 그림은 콘텐츠 인식 레이아웃 생성 작업에 대한 LaDeCo와 다른 방법들의 결과를 보여주는 여러 디자인 예시들을 보여줍니다. 각 열은 서로 다른 방법(PosterLlama, PosterLLaVA, LaDeCo, GT)으로 생성된 디자인을 보여주고, 각 행은 다른 입력 콘텐츠 집합에 대한 결과를 보여줍니다. 이 그림을 통해 LaDeCo가 다른 방법들보다 콘텐츠를 더 잘 정렬하고 시각적으로 만족스러운 레이아웃을 생성하는 것을 알 수 있습니다.

read the caption

Figure 16: More qualitative comparison to demonstrate the superiority of LaDeCo in content-aware layout generation.

🔼 그림 17은 LaDeCo가 서체 생성 작업에서 우수함을 보여주는 정성적 비교를 더 자세히 보여줍니다. 다양한 디자인 예시를 통해 LaDeCo가 생성한 서체 디자인과 다른 기준 모델들(FlexDM, OpenCOLE)의 서체 디자인을 비교하여 LaDeCo의 성능을 시각적으로 보여줍니다. 각 이미지는 입력 요소와 LaDeCo 및 다른 모델이 생성한 서체의 시각적 결과를 보여줍니다. 이를 통해 사용자는 LaDeCo의 서체 생성 품질을 직관적으로 이해할 수 있습니다.

read the caption

Figure 17: More qualitative comparison to demonstrate the superiority of LaDeCo in typography generation.

🔼 표 2는 LaDeCo 모델의 성능에 영향을 미치는 요인들을 분석한 실험 결과를 보여줍니다. 총 4가지 측면을 다루고 있는데, (1) LoRA(Low-Rank Adaptation)에서 rank의 크기, (2) 기반 모델의 종류, (3) LaDeCo의 핵심 기법인 계층적 레이어 계획(Layer Planning, LP)과 계층적 디자인 구성(Layered Design Composition, LDC)의 적용 여부, (4) 데이터셋 크기입니다. 표에서 별표(*)가 표시된 모델은 Crello와 LargeCrello 데이터셋을 결합하여 학습한 모델이고, 별표가 없는 모델은 Crello 데이터셋만 사용하여 학습한 모델입니다. 이를 통해 각 요인이 LaDeCo의 성능에 어떤 영향을 미치는지 정량적으로 비교 분석합니다.

read the caption

Table 2: Ablation studies. Our investigation covers four aspects (from top to bottom): (1) the rank number in LoRA, (2) the base model, (3) the key techniques in LaDeCo, where LP denotes layer planning , and LDC represents layered design composition, (4) dataset size. The model with * to is trained on the combined Crello and LargeCrello datasets, while the models without * are trained on Crello only.

🔼 표 3은 콘텐츠 인식 레이아웃 생성 하위 작업에 대한 정량적 결과를 보여줍니다. 실제 데이터(GT로 표시)에서 계산된 점수와 가장 가까운 점수는 굵게 표시되어 있으며, 이는 다양한 방법 중에서 최상의 성능을 나타냅니다. 각 방법의 성능을 평가하기 위해 디자인 및 레이아웃, 콘텐츠 관련성, 타이포그래피 및 색상, 그래픽 및 이미지, 혁신성 및 독창성의 다섯 가지 측면을 평가하는 LLaVA-OV 지표를 사용했습니다. 또한, 요소 유효성(Val), 중첩(Ove), 정렬(Ali), 하위 효과(Und₁, Unds), 활용도(Uti), 폐색(Occ), 가독성(Rea)과 같은 기하학적 지표도 함께 제시하여 레이아웃의 질을 다각적으로 분석하였습니다.

read the caption

Table 3: Quantitative results on the content-aware layout generation subtask. The score closest to the one calculated from real data (denoted as GT) is highlighted in bold, indicating the best performance among different methods.