SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding

🔼 SynerGen-VL은 토큰 접기 및 펼치기 메커니즘과 비전 전문가를 활용하여 강력하고 단순한 통합 MLLM을 구축합니다. 동일한 이미지 컨텍스트 길이로 SynerGen-VL은 훨씬 더 높은 해상도의 이미지를 지원하여 고해상도 이미지 이해 및 생성 성능을 보장합니다. 기존의 인코더 없는 통합 MLLM은 고해상도 이미지를 처리하는 데 어려움을 겪었지만 SynerGen-VL은 토큰 접기를 통해 입력 이미지 토큰 시퀀스를 압축하고, 비전 전문가를 통해 이미지 표현 능력을 향상시켜 이러한 문제를 해결합니다. 따라서 SynerGen-VL은 더 작은 모델 크기로도 고해상도 이미지 이해 및 생성 작업에서 우수한 성능을 달성할 수 있습니다. 그림은 SynerGen-VL과 기존 MLLM의 차이점을 시각적으로 보여줍니다.

read the caption

Figure 2: Comparision between SynerGen-VL and previous encoder-free unified MLLMs. SynerGen-VL adopts a token folding and unfolding mechanism and vision experts to build a strong and simple unified MLLM. With the same image context length, SynerGen-VL can support images of much higher resolutions, ensuring the performance of both high-resolution image understanding and generation.

🔼 SynerGen-VL은 이미지와 텍스트를 이산 토큰으로 표현하고 단일 LLM과 통합된 다음 토큰 예측 패러다임을 사용하는 통합 멀티모달 대형 언어 모델(MLLM)입니다. 사전 훈련된 LLM에 시각적 기능을 통합하기 위해 텍스트 및 비전 전문가 FFN이 도입되었습니다. 고해상도 이미지 처리를 지원하기 위해 입력 이미지 토큰 시퀀스는 길이를 줄이기 위해 접히고(token folding), 이미지를 생성하기 위해 얕은 자기 회귀 변환기 헤드에 의해 펼쳐집니다(token unfolding).

read the caption

Figure 3: Overview of the proposed SynerGen-VL. The image and text are represented as discrete tokens, and modeled with a single LLM and unified next-token prediction paradigm. Text and vision expert FFNs are introduced to incorporate visual capabilities into the pretrained LLM. To support processing high-resolution images, the input image token sequence is folded to reduce its length, and unfolded by a shallow autoregressive Transformer head to generate images.

🔼 이 그림은 이미지 생성과 이해 작업에서 추출된 시각적 특징 간의 코사인 유사도를 각 레이어별로 보여줍니다. 생성 및 이해 작업에 대한 표현은 얕은 레이어에서는 유사하지만 깊은 레이어로 갈수록 차이가 발생합니다. 즉, 두 작업 모두 초기 단계에서는 기본적인 시각적 표현을 공유하지만, 레이어가 깊어짐에 따라 이미지 생성은 국부적 세부 사항에, 이미지 이해는 전체적인 맥락에 집중하면서 작업별로 특화된 표현을 개발합니다.

read the caption

Figure 4: Cosine similarity of visual features between generation and understanding tasks across different layers. The representations of the image understanding and generation tasks are similar in shallow layers but disentagle in deeper layers.

🔼 이 그림은 이해 및 생성 작업에 대한 어텐션 맵 시각화를 보여줍니다. 두 번째 및 네 번째 행에서 쿼리 토큰(빨간색)과 입력 이미지에서 주목하는 토큰(파란색)을 시각화합니다. 각 토큰은 2x4 토큰 폴딩으로 인해 원본 이미지에서 가로 직사각형 영역에 해당합니다. 진한 파란색은 더 큰 어텐션 가중치를 나타냅니다. 이해 작업의 경우, 모델은 이미지의 전역 컨텍스트에 주목하는 반면 생성 작업의 경우 로컬 세부 정보에 더 집중합니다. 이는 생성된 이미지의 공간적 일관성과 의미적 일관성을 보장하기 위해 로컬 세부 정보가 필요하기 때문입니다. 또한 텍스트 토큰과 이미지 간의 상호 작용은 얕은 레이어보다 깊은 레이어에서 더 자주 발생하는데, 이는 텍스트가 이미지 생성에 미치는 영향을 보여줍니다.

read the caption

Figure 5: Attention map visualization of understanding and generation tasks. In the second and fourth rows, we visualize a query token (red) and its attended tokens (blue) in the input image. Each token corresponds to a horizontal rectangular area in the original image due to the 2×4242\times 42 × 4 token folding. Darker blue indicates larger attention weights.

🔼 이 그림은 SynerGen-VL 모델의 이미지 생성 능력을 정성적으로 평가한 결과를 보여줍니다. 다양한 텍스트 프롬프트를 입력으로 사용하여 생성된 512x512 크기의 이미지들을 보여주고 있으며, 생성된 이미지들이 프롬프트의 내용을 얼마나 잘 반영하는지, 그리고 이미지의 품질이 어떤지를 시각적으로 확인할 수 있습니다. 예시로 생성된 이미지들은 도시 풍경, 자연 경관, 인물, 추상적인 그림 등 다양한 주제를 다루고 있습니다.

read the caption

Figure 6: Qualitative results of image generation. The images are of size 512×512512512512\times 512512 × 512.

🔼 이 표는 일반적인 MLLM 벤치마크에서 SynerGen-VL의 성능을 다른 모델과 비교하여 보여줍니다. SynerGen-VL은 2.4B 매개변수로, Emu3-Chat-8B와 같은 훨씬 더 큰 매개변수를 가진 기존의 인코더 없는 통합 MLLM보다 이미지 이해 성능이 우수합니다. 특히, SynerGen-VL은 OCRBench와 같이 고해상도 이미지 이해가 필요한 벤치마크에서 훨씬 더 큰 인코더 없는 통합 MLLM보다 뛰어난 결과를 달성합니다. 또한 SynerGen-VL은 외부 확산 모델 없이도 경쟁력 있는 이미지 생성 성능을 달성합니다.

read the caption

Table 2: Results on general MLLM benchmarks. Our model with 2.4B parameters achieves competitive image understanding performance compared with significantly larger encoder-free unified MLLMs such as Emu3-Chat-8B [91].

🔼 이 표는 다양한 시각적 질문 답변 벤치마크에서 기존 MLLM과 SynerGen-VL의 성능을 비교하여 보여줍니다. #A-Params는 추론 중 활성화된 매개변수의 수를 나타냅니다. SynerGen-VL은 활성화된 매개변수 2.4B개만으로 Emu3-Chat-8B와 같은 훨씬 더 큰 인코더 프리 통합 MLLM보다 우수한 성능을 달성하고 있습니다. 특히 고해상도 이미지 이해 능력이 필요한 OCRBench, TextVQA, DocVQA, ChartQA와 같은 벤치마크에서 SynerGen-VL은 훨씬 더 큰 인코더 프리 MLLM보다 우수한 결과를 달성하여 고해상도 이미지 처리 능력의 장점을 보여줍니다. 또한 SynerGen-VL은 LLaVA-1.5와 같은 인코더 기반 이해 전용 MLLM과 비슷한 이미지 이해 성능을 보여주는 동시에 EVE-7B 및 Fuyu-8B(HD)와 같은 더 큰 인코더 프리 작업별 MLLM보다 뛰어난 성능을 보입니다. 이는 이미지 이해와 생성을 통합하는 데 큰 잠재력이 있음을 시사합니다. Chameleon의 일부 결과는 [51]에서 가져왔습니다.

read the caption

Table 3: Comparison with existing MLLMs on visual question answering benchmarks. #A-Params denotes the number of activated parameters during inference. ⋄Some results of Chameleon are sourced from [51].

🔼 이 표는 GenEval 벤치마크에서 텍스트-이미지 생성 평가 결과를 보여줍니다. #A-Params는 추론 중 활성화된 매개변수의 수를 나타냅니다. ††는 외부에서 미리 학습된 확산 모델을 사용하는 모델을 나타냅니다. Obj.는 Object를, Attri.는 Attribution을 나타냅니다. 다양한 객체, 객체 수, 색상, 위치, 색상 속성과 같은 객체 수준 이미지-텍스트 정렬 기준에 따라 모델 성능을 비교합니다.

read the caption

Table 4: Evaluation of text-to-image generation on GenEval [25] benchmark. #A-Params denotes the number of activated parameters during inference. ††{\dagger}† indicates models with external pretrained diffusion model. Obj.: Object. Attri.: Attribution.

🔼 이 표는 MSCOCO-30K와 MJHQ-30K 데이터셋에서 이미지 생성 모델의 성능을 FID 점수로 비교합니다. #A-Param은 추론 중 활성화된 매개변수의 수를 나타냅니다. 표에는 이미지 생성 전용 모델과 이해 및 생성 기능을 모두 갖춘 통합 멀티모달 대규모 언어 모델(MLLM)의 결과가 포함되어 있습니다. 각 모델에 대해 활성화된 매개변수 수와 함께 두 데이터셋에 대한 FID 점수가 표시됩니다.

read the caption

Table 5: Image generation results on MSCOCO-30K [40] and MJHQ-30K [35] datasets. FID [27] is reported. #A-Param denotes the number of activated parameters during inference.

🔼 토큰 접기 유무에 따른 VQA 벤치마크 성능 비교표입니다. 동일한 이미지 토큰 시퀀스 길이에서 토큰 접기를 사용한 모델이 성능이 크게 향상됨을 보여줍니다. 이 표는 고해상도 이미지 이해에 대한 토큰 접기의 효과를 검증하기 위해 SynerGen-VL이 토큰 접기 없이, 그리고 동적 해상도 전략 없이 기준 버전과 비교한 결과를 보여줍니다. 기준 모델은 토큰 접기 없이 토큰화된 시퀀스를 입력 이미지 시퀀스로 직접 사용하며, 입력 이미지 크기는 256x256이고 토큰화된 시퀀스 길이는 1024입니다. 토큰 접기를 사용하는 모델의 경우, 고해상도 입력 이미지를 제공하기 위해 동적 해상도 전략을 구현합니다. 공정한 비교를 위해 토큰 접기 비율을 2x4로 사용하고 토큰 접기 후 이미지 토큰 시퀀스의 평균 길이가 1024가 되도록 동적 이미지 패치의 최대 개수를 제어합니다. 2단계(S.2) 이해 데이터의 하위 집합으로 모델을 학습시키고, VQA 벤치마크에서 사전 학습된 모델을 평가합니다. TextVQA, DocVQA, ChartVQA, InfoVQA와 같은 상세한 이미지 정보에 대한 정확한 이해가 필요한 데이터 세트에서 토큰 접기를 사용한 모델이 훨씬 더 나은 결과를 달성하여 고해상도 이미지 이해의 이점을 보여줍니다.

read the caption

Table 6: Comparison between models with and without token-folding on VQA benchmarks. The model with token folding demonstrates significant performance improvements with the same image token sequence length.

🔼 이 표는 다양한 사전 훈련 전략의 제로샷 성능을 비교합니다. ‘S.1’과 ‘S.2’는 각각 첫 번째 및 두 번째 사전 훈련 단계를 나타냅니다. ‘전체’는 전체 매개변수 조정을 나타내고, ‘점진적’은 MMoE를 사용한 점진적 조정 전략을 나타냅니다. MSCOCO에서 텍스트-이미지 생성(T2I)에 대해 FID가 보고됩니다.

read the caption

Table 7: Zero-shot performance of different pre-training strategies. “S.1” and “S.2” denote the first and second pre-training stage. “Full” and “Progressive” denote the full parameter tuning and our progressive tuning strategy with MMoEs, respectively. FID [27] is reported for text-to-image generation (T2I) on MSCOCO [40].

🔼 이 표는 SynerGen-VL 모델의 사전 훈련 및 명령어 미세 조정 단계에서 사용된 하이퍼파라미터들을 보여줍니다. 사전 훈련 단계는 두 단계로 나뉘며, 각 단계마다 이미지 타일 최대 개수, LLM 시퀀스 길이, 썸네일 사용 여부, 글로벌 배치 크기, 최대 학습률, 학습률 스케줄, 가중치 감쇠, 훈련 단계, 웜업 단계, 옵티마이저 종류 및 하이퍼파라미터, 그래디언트 누적, 그리고 수치 정밀도 등의 설정값들을 보여주고, 명령어 미세 조정 단계의 하이퍼파라미터 설정값들도 함께 비교하여 제시합니다.

read the caption

Table 8: Hyper-parameters used in the alignment pre-training and instruction tuning stages.