Toward Robust Hyper-Detailed Image Captioning: A Multiagent Approach and Dual Evaluation Metrics for Factuality and Coverage

🔼 그림 2(a)는 세부적인 캡션 내 개체의 위치에 따른 신뢰도 기반 방법의 환각 점수를 보여줍니다. 가로축은 캡션 내 토큰의 인덱스를 나타내며, 큰 토큰 인덱스는 캡션의 끝에 가까운 위치를 나타냅니다. 세로축은 각 구간 내 환각 점수의 평균과 표준 편차를 나타냅니다. 탐욕적 디코딩 중 생성된 환각은 192번째 토큰 이후에는 신뢰도 방법으로 감지할 수 없습니다.

read the caption

(a) Confidence-Token Index

🔼 그림 2(b)는 자세한 캡션 내 개체 위치에 따른 일관성 방법의 환각 점수를 보여줍니다. 가로축은 캡션 내 개체 토큰 색인의 구간을 나타내고, 세로축은 각 구간 내 환각 점수의 평균과 표준 편차를 나타냅니다. 토큰 색인이 클수록 캡션의 끝에 가까워짐을 의미합니다. 그림은 192번째 토큰 이후에 생성된 환각은 일관성 방법으로는 탐지할 수 없음을 보여줍니다.

read the caption

(b) Consistency-Token Index

🔼 본 표는 다양한 캡션 평가 방법에 대한 메타 평가 결과를 보여줍니다. DOCCI 데이터셋과 합성적 환각 캡션을 사용하여 메타 평가를 수행했습니다. 각 방법에 대해 가장 높은 점수를 받은 캡션은 굵게 표시되어 있으며, 전체 표는 부록 D에 있습니다. 표는 깨끗한 캡션, 객체 오류 캡션, 속성 오류 캡션, 관계 오류 캡션의 네 가지 유형에 대해 BLEU, ROUGE, METEOR, CIDEr, CLIP-S, RefCLIP-S, CLAIR, ALOHA 및 제안된 새로운 방법의 점수를 비교 분석합니다.

read the caption

Table 2: Meta-evaluation results across various caption evaluation methods. DOCCI and its synthetic hallucinatory captions are used for the meta-evaluation. The highest-rated caption for each method is highlighted in bold. The full table is in Appendix D.

🔼 본 표는 사람이 평가한 내용과 자동화된 지표 간의 상관관계를 비교 분석한 표입니다. 자동화된 지표는 이미지 캡션의 사실성을 평가하는 데 사용됩니다. 구체적으로, FAITHSCORE, FACTSCORE, 그리고 논문에서 제안된 새로운 지표 세 가지를 비교하여 사람의 평가와 얼마나 잘 일치하는지 보여줍니다. 이는 제안된 새로운 지표의 신뢰성을 평가하는 데 중요한 역할을 합니다.

read the caption

Table 3: Comparison of correlations between human preferences and automated metrics in terms of factuality.

🔼 본 표는 제안된 CapMAS 방법의 다양한 캡션 생성 모델에 대한 효과를 보여줍니다. CapMAS 열에서 LLM은 캡션 분해 및 수정을 담당하고 MLLM은 사실 확인을 담당합니다. 평균(Avg.)은 CLAIR, 사실성, 적용 범위의 평균값을 나타냅니다. 다양한 LLM과 MLLM 조합에 따른 CLAIR 점수, 사실성 점수, 적용 범위 점수 및 평균 점수를 보여줍니다.

read the caption

Table 4: Effectiveness of our proposed method across various captioning models. In the CapMAS column, the LLM represents the decomposer and corrector, while the MLLM represents the fact-checker. Avg. denotes the average of CLAIR, Factuality, and Coverage.

🔼 표 5는 제안된 방법과 다른 방법들을 비교하여 상세한 이미지 캡션 생성 성능을 보여줍니다. 기준(Base)은 LLaVA-v1.5-7B 모델의 기본 이미지 캡션 생성 결과입니다. 표에는 제안된 방법과 기존의 여러 캡션 생성 방법들(VCD, OPERA, LURE, Volcano, LRV)의 성능을 CLAIR 점수, 사실성 점수, 적용범위 점수, 그리고 평균 점수를 사용하여 비교 분석한 결과가 제시되어 있습니다. 이를 통해 제안된 방법의 우수성을 보여주고자 합니다.

read the caption

Table 5: Performance comparison between our proposed method and other methods regarding detailed image captioning. Base refers to the default image captioning of LLaVA-v1.5-7B.

🔼 표 6은 다양한 다중 모달 대규모 언어 모델(MLLM)의 상세 이미지 캡션 생성 및 VQA 성능을 보여줍니다. OpenCompass(Duan et al., 2024)는 MMBench v1.1(Liu et al., 2023c), MMStar(Chen et al., 2024a), MMMU val(Yue et al., 2024), MathVista(Lu et al., 2024), OCRBench(Liu et al., 2024d), AI2D(Kembhavi et al., 2016), HallusionBench(Guan et al., 2024), MMVet(Yu et al., 2023)를 포함합니다. POPE(Li et al., 2023b)의 경우 세 가지 범주(적대적, 일반적, 무작위)에 걸친 평균 F1 점수를 보고하며, MME(Yin et al., 2023b)는 인지 및 인식 점수의 합계를 보고합니다. 각 지표에 대한 최고 점수는 굵게 표시되어 있습니다.

read the caption

Table 6: Detailed image captioning and VQA performance of various MLLMs. OpenCompass (Duan et al., 2024) includes MMBench v1.1 (Liu et al., 2023c), MMStar (Chen et al., 2024a), MMMU val (Yue et al., 2024), MathVista (Lu et al., 2024), OCRBench (Liu et al., 2024d), AI2D (Kembhavi et al., 2016), HallusionBench (Guan et al., 2024), and MMVet (Yu et al., 2023). For POPE (Li et al., 2023b), we report the average F1 score across the three categories: adversarial, popular, and random. We report the sum of the perception and cognition scores for MME (Yin et al., 2023b). The best results for each metric are shown in bold.

🔼 본 표는 사람의 평가와 자동화된 지표 간의 상관관계를 비교하여 문장의 사실성을 평가하는 방법을 보여줍니다. LLaVA-v1.5-7B와 InstructBLIP 두 모델의 문장에 대한 인간의 사실성 평가와, FAITHSCORE, FACTSCORE 및 제안된 지표의 상관관계를 스피어만 상관계수(Spearman’s ρ)를 사용하여 측정하였습니다. 이를 통해 제안된 지표가 기존 지표보다 인간의 판단과 더 높은 상관관계를 보임을 보여줍니다.

read the caption

Table 7: Comparison of correlations between human preferences and automated metrics in terms of factuality.

🔼 표 8은 제안된 CapMAS 방법의 다양한 캡션 생성 모델에 대한 효과를 보여줍니다. π 값을 변화시키면서(π는 CapMAS에서 환각 요소를 구분하는 임계값 역할) LLM(분해기 및 수정기)과 MLLM(사실 확인기)의 성능을 비교 분석합니다. 다양한 모델(LLaVA-NeXT-7B, LLaVA-NeXT-13B, InternVL-Chat-V1.5)과 LLM(LLaMA-3-8B, GPT-4) 조합에 따른 CLAIR 점수, 사실성 점수, 적용범위 점수의 변화를 π 값의 변화에 따라 보여주는 표입니다. π값이 감소할수록 사실성은 증가하지만 적용범위는 감소하는 경향을 보여주는 사실성과 적용범위 간의 상관관계를 분석하는 데 사용됩니다.

read the caption

Table 8: Effectiveness of our proposed method across various captioning models as a function of π𝜋\piitalic_π. In the CapMAS column, the LLM represents the decomposer and corrector, while the MLLM represents the fact-checker.

🔼 표 9는 다양한 캡션 평가 방식에 대한 메타 평가 결과를 보여줍니다. DOCCI 데이터셋과 합성 환각 캡션을 사용하여 메타 평가를 수행했습니다. 각 방식에 대해 가장 높은 점수를 받은 캡션은 굵게 표시되어 있습니다. BLEU, ROUGE, METEOR, CIDEr, CLIP-S, RefCLIP-S, CLAIR, ALOHA 및 제안된 방식을 포함한 여러 캡션 평가 지표를 사용하여 깨끗한 캡션, 개체(Object), 속성(Attribution), 관계(Relation) 등 네 가지 유형의 캡션을 평가했습니다.

read the caption

Table 9: Meta-evaluation results across various caption evaluation methods. DOCCI and its synthetic hallucinatory captions are used for the meta-evaluation. The highest-rated caption for each method is highlighted in bold.