LLaVA-UHD v2: an MLLM Integrating High-Resolution Feature Pyramid via Hierarchical Window Transformer

🔼 제안된 LLaVA-UHD v2의 전체 아키텍처는 ViT(Vision Transformer), 계층적 윈도우 트랜스포머(Hiwin 트랜스포머), 그리고 LLM(Large Language Model)의 세 가지 주요 모듈로 구성됩니다. Hiwin 트랜스포머는 이미지를 여러 조각으로 나누고 개별 조각과 전체 이미지를 처리하여 다양한 수준의 표현을 포착하고 이를 공간적으로 일관된 토큰으로 압축하여 보다 효과적인 비전-언어 정렬을 가능하게 합니다. 이 과정을 통해 다양한 시각적 세부 정보를 포착하고 언어 생성에 필요한 다양한 의미적 세분성을 제공합니다.

read the caption

Figure 2: The overall architecture of proposed LLaVA-UHD v2, consisting of a ViT, our hierarchical window transformer (Hiwin transformer), and an LLM. Hiwin transformers process sliced patches and the overview image by capturing inner multi-level representations and compressing them into spatially consistent tokens for a better vision-language alignment.

🔼 이 그림은 이미지 피라미드를 활용하여 고해상도 특징 맵을 생성하는 Joint Bilateral Upsampling (JBU) 모듈의 흐름도를 보여줍니다. JBU 모듈은 이미지 피라미드의 고주파수 정보를 활용하여 저해상도 특징 맵을 고해상도로 업샘플링하고, 이를 통해 고주파수 정보가 풍부한 고해상도 특징 맵을 생성합니다. 이 과정은 이미지 피라미드의 여러 레벨에서 고주파수 정보를 통합하여 수행되며, 최종적으로는 다양한 시각적 세부 정보를 포착하는 고해상도 특징 맵이 생성됩니다.

read the caption

Figure 3: Flowchart of the Joint Bilateral Upsampling (JBU) module, which leverages the image pyramid to guide feature up-sampling, integrating high-frequency information into the up-sampled feature maps.

🔼 그림 4는 계층적 윈도우 어텐션의 흐름도를 보여줍니다. 피처 피라미드의 여러 레벨에서 나온 피처 맵들은 적응적으로 RoI-정렬되어 샘플링 피처가 되고, 그다음 길이 축을 따라 연결되어 학습 가능한 쿼리의 키 역할을 합니다. 즉, 다양한 해상도의 시각적 정보를 효율적으로 통합하고 압축하여 언어 모델이 이미지를 이해하는 데 도움을 주는 메커니즘을 보여줍니다. 각 레벨의 피처 맵은 지역적 맥락을 포착하는 여러 개의 윈도우로 나뉘며, 각 윈도우 내의 주요 피처들이 쿼리에 의해 선택되어 어텐션 연산에 사용됩니다. 이를 통해 다양한 시각적 세부 정보와 고차원적 의미를 효과적으로 결합하여 언어 생성에 활용할 수 있습니다.

read the caption

Figure 4: The flowchart of hierarchical window attention. Feature maps from different levels of the feature pyramid are adaptively RoI-aligned into sampling features and then concatenated along the length axis to serve as the key for the learnable queries.

🔼 그림 5는 JBU 모듈과 일반적인 이중 선형 보간법을 사용하여 수행한 다양한 시각적 작업에 대한 성능을 보여줍니다. 세 가지 시각적 작업은 광학 문자 인식(OCR), 선형 프로빙 의미론적 분할(Seg), 그리고 SUB-200 데이터셋을 사용한 세분화된 분류(Cls)입니다. JBU 모듈을 사용했을 때 세 가지 작업 모두에서 더 나은 성능을 보여줍니다. 이는 JBU 모듈이 이미지 피라미드에서 고주파수 패턴을 캡처하여 특징 업샘플링을 안내함으로써 고해상도 특징을 효과적으로 통합하기 때문입니다.

read the caption

Figure 5: Performance on different visual tasks with JBU module and vanilla bilinear interpolation. “OCR” denotes the optical character recognition, “Seg” the Linear probing semantic segmentation, and “Cls” the fine-grained classification on SUB-200.

🔼 그림 6은 고해상도 복합 지각 과제에서 제안된 LLaVA-UHD v2와 LLaVA-Next, Mini-Gemini, GPT-4V를 포함한 고급 MLLM을 정성적으로 비교한 것입니다. 이러한 과제는 세밀한 시각 정보와 고차원 의미 맥락을 통합해야 합니다. 그림은 다양한 시각적 세부 정보와 의미 맥락을 필요로 하는 복잡한 시각적 질문에 대한 각 모델의 응답을 보여줍니다. LLaVA-UHD v2는 세밀한 시각 정보와 고차원 의미 맥락을 효과적으로 통합하여 더욱 정확하고 포괄적인 응답을 생성하는 것을 보여줍니다.

read the caption

Figure 6: Qualitative comparison of proposed LLaVA-UHD v2 and advanced MLLMs, including LLaVA-Next, Mini-Gemini, and GPT-4V on high-resolution complex perception tasks, which require the integration of both fine-grained visual information and high-level semantic contexts.

🔼 그림 7은 다양한 시각적 특징 수준에 대한 특정 텍스트 토큰의 활성화 응답을 보여줍니다. 빨간색 원은 서로 다른 수준 간의 명확한 차이점을 강조 표시합니다. 이 그림은 다양한 시각적 세부 수준을 포착하는 역 피라미드의 효과를 보여주는 것으로, 고해상도 특징이 세부적인 시각적 정보를 더 잘 캡처하는 반면, 저해상도 특징은 더 추상적인 시각적 개념을 캡처합니다. 이는 다양한 세부 수준에서 시각적 정보를 통합하는 모델의 능력을 보여주는 중요한 시각적 증거입니다. 최상의 이해를 위해서는 컬러로 확대하여 보는 것이 좋습니다.

read the caption

Figure 7: Activation response of specific textual tokens to different visual feature levels. Red circles highlight the obvious difference between levels. (Best viewed in color and zoomed-in)

🔼 그림 8은 고해상도의 이미지에서 미세한 부분까지 정확하게 인식해야 하는 과제를 보여줍니다. LLaVA-UHD v2는 TV 프로그램 시작 시간, 공연 날짜, 운동 시간, 상품 가격 등을 정확하게 식별하여, 고해상도 이미지에서 복잡하게 밀집된 유사한 객체들 사이에서도 목표 객체의 경계를 정확하게 찾고 목표 객체를 정확하게 식별하는 능력을 보여줍니다. 반면 다른 모델들은 목표를 정확하게 찾지 못하거나(LLaVA-Next), 유사한 객체들과 구분하지 못하는(Mini-Gemini) 등의 한계를 보입니다.

read the caption

Figure 8: Qualitative comparison on high-resolution dense perception task which requires the capabilities of fine-grained details perception.

🔼 그림 9는 고해상도의 미세한 질감 인식 능력이 필요한 고해상도 미세립자 인식 과제에 대한 정성적 비교를 보여줍니다. 이 그림에서는 다양한 최첨단 다중 모달 대규모 언어 모델(MLLM)이 고해상도 이미지에서 미세한 시각적 세부 사항을 정확하게 식별하고 해석하는 능력을 보여줍니다. 각 모델은 세부 정보가 많고 복잡한 시각적 장면을 다루는 데 있어 강점과 약점을 보여주는 몇 가지 예시를 통해 비교됩니다. 특히, LLaVA-UHD v2 모델은 작은 물체나 흐릿한 텍스트와 같이 미세한 시각적 세부 사항을 식별하는 능력을 강조하여, 다른 모델보다 우수한 성능을 보여줍니다.

read the caption

Figure 9: Qualitative comparison on high-resolution fine-grained perception task which requires robust fine-grained visual texture perception capabilities.

🔼 그림 10은 고해상도 공간적 지각에 대한 정성적 비교를 보여줍니다. 이는 고차원 공간적 맥락을 파악하는 능력이 필요한 작업입니다. 그림은 다양한 고해상도 시각적 인식 작업에서 LLaVA-UHD v2, LLaVA-Next, Mini-Gemini, GPT-4V의 성능을 보여주는 여러 사례를 제시합니다. 각 사례는 고해상도 이미지에서 세부적인 시각적 정보와 고차원 의미적 맥락을 통합하여 정확하게 객체를 식별하고 상호 관계를 파악해야 하는 복잡한 작업입니다. LLaVA-UHD v2는 고해상도 공간적 지각 능력을 갖추고 있어 세부적인 시각적 정보와 고차원 의미적 맥락을 정확하게 통합하여 작업을 수행하는 것을 보여줍니다. 반면에 다른 모델들은 고해상도 공간적 지각 능력이 부족하여 일부 작업에서 어려움을 겪는 것으로 나타났습니다. 이는 LLaVA-UHD v2가 고해상도 공간적 인식에 대한 뛰어난 성능을 가짐을 시사합니다.

read the caption

Figure 10: Qualitative comparison on high-resolution spatial perception which necessitates the capabilities of high-level spatial contexts.

🔼 그림 11은 자연 장면에 대해 JBU 모듈에 의해 업샘플링된 특징들의 PCA 시각화를 보여줍니다. 계층적 감독을 사용하면 고해상도 특징(8배)이 객체 경계와 텍스트 모양을 명확하게 묘사할 수 있습니다. 색상으로 보면 더욱 효과적입니다.

read the caption

Figure 11: PCA visualization of the up-sampled features by JBU module on nature scene. With hierarchical supervision, the high-resolution features (8×8\times8 ×) could clearly depict object boundary and text appearance. (Best viewed in color and zoomed in)

🔼 표 2는 제안된 방법에서 각 모듈의 효과를 분석한 결과를 보여줍니다. ‘HFP’는 고해상도 특징 피라미드의 약자이며, ‘Δ’는 기준 방법 대비 전반적인 성능 향상을 나타냅니다. REC는 RefCOCO/g/+ 데이터셋에 대한 평균 정확도를 의미합니다. 이 표는 고해상도 특징 피라미드(HFP)를 구성하고 통합하는 과정에서 각 모듈(JBU, HFP 통합, 토큰 구성)이 성능 향상에 미치는 영향을 정량적으로 분석하여, 제안된 방법의 효과를 보여줍니다. 각 모듈이 추가됨에 따라 성능이 향상되는 것을 확인할 수 있으며, 특히 DocVQA 데이터셋에서 9.3%의 향상을 보여줍니다.

read the caption

Table 2: Ablation studies of modules in our proposed method. “HFP” is the abbreviation of high-resolution feature pyramid. “ΔΔ\Deltaroman_Δ” denotes the overall improvement compared to the baseline. REC reports the average accuracy of RefCOCO/g/+.

🔼 표 3은 다양한 특징 피라미드 구성 방법의 비교 결과를 보여줍니다. CLIP-ViT 대신 CLIP-ConvNext [68]를 비주얼 인코더로 사용하고 여러 단계의 특징 맵을 최종 계층적 특징 피라미드로 직접 사용한 경우를 ‘ConvNext’ 라고 표시했습니다. 이 표는 여러 가지 방법으로 생성된 특징 피라미드의 성능과 효율성을 비교 분석하여, 제안된 방법의 우수성을 보여주는 데 사용됩니다. 특히, 다양한 벤치마크에서의 성능과 계산 비용 측면에서의 비교가 이루어집니다.

read the caption

Table 3: Comparison of different methods for feature pyramid construction. “ConvNext” means we replace the CILP-ViT with CLIP-ConvNext [68] as visual encoder and directly use the feature maps from multiple stages as the final hierarchical feature pyramid.

🔼 표 4는 다양한 그리드 크기 선택에 따른 성능과 효율성을 비교 분석한 표입니다. ‘Pyramid’ 방식은 여러 레벨의 특징 맵을 지역 수준의 특징 피라미드로 구성하는 방식을 의미하며, 예를 들어 레벨 0은 2x3, 레벨 1은 4x6, 레벨 2는 8x12 크기의 그리드를 사용합니다. ‘Fix’ 방식은 모든 특징 맵을 3x3 그리드로 통합하는 방식입니다. 본 표에서는 8개의 A100 GPU를 사용하여 학습 시간을 측정하고, A100 GPU 1개를 사용하여 1008x672 이미지에 대한 지연 시간을 측정하며, 8개의 A100 GPU를 사용하고 GPU당 1개의 이미지로 GPU 메모리를 측정했습니다. 모두 지도 학습 미세 조정 단계에서 측정된 결과입니다.

read the caption

Table 4: Comparison of different choice of grid sizes on performance and efficiency. “Pyramid” means the feature grids from different levels form a region-level feature pyramid, e.g.formulae-sequence𝑒𝑔e.g.italic_e . italic_g ., [2×\times×3] for level-0, [4×\times×6] for level-1, [8×\times×12] for leval-2. “Fix” represents all feature maps are pooled into a 3×\times×3 feature grid. We measure the training period on 8×\times×A100s, the latency on an A100 with a 1008×\times×672 image, and the GPU memory on 8×\times×A100s with 1 image per GPU in supervised fine-tune phase.

🔼 표 5는 논문에서 사용된 858,000개의 이미지-텍스트 데이터셋의 상세 구성을 보여줍니다. 데이터셋은 다양한 비전-언어 작업(VQA, OCR, 이미지 캡션 생성 등)을 위한 여러 개의 기존 데이터셋들을 하나로 합쳐 만든 혼합 데이터셋입니다. 각 데이터셋의 크기와 함께 해당 데이터셋에서 사용되는 응답 형식(예: 한 단어 또는 구절로 답하기, 객관식 답변, 영역 설명 제공 등)이 명시되어 있습니다. 이 표는 논문에서 제시된 모델의 성능을 평가하는 데 사용된 데이터의 종류와 특징을 자세히 보여줌으로써, 실험 결과의 신뢰성과 일반화 가능성을 높이는 데 기여합니다.

read the caption

Table 5: Detailed composition of our 858k-mixed dataset.

🔼 표 6은 다양한 수준의 특징(feature level)을 사용했을 때 성능과 효율성을 비교 분석한 결과를 보여줍니다. ‘HS’는 계층적 감독(hierarchical supervision)을 의미하며, ESTVQA [101]는 장면 텍스트 인식(scene text recognition)에 초점을 맞춘 VQA 벤치마크입니다. 표에는 각 특징 수준별로 학습 시간, 메모리 사용량, 그리고 GQA, SQA, REC, VQAC, VQAT, ESTVQA, MMEP 등 다양한 벤치마크에서의 성능이 나타나 있습니다.

read the caption

Table 6: Comparison of different choices of feature level on performance and efficiency. “HS.”: hierarchical supervision. ESTVQA [101] is a VQA benchmark focusing on scene text recognition.