Task Preference Optimization: Improving Multimodal Large Language Models with Vision Task Alignment

🔼 그림 2는 제시된 세 가지 학습 방법(PPO, DPO, TPO)을 비교하여 보여줍니다. 각 방법은 다양한 모듈(MLLM, Reward Model, Task Head 등)로 구성되며, 데이터 흐름과 피드백 메커니즘을 화살표로 표시합니다. 실선은 데이터의 흐름을, 점선은 피드백을 나타냅니다. 각 모듈이 학습 과정에서 고정되는지( ), 학습에 참여하는지( ) 여부를 명확히 구분하여, 세 가지 방법의 차이점을 시각적으로 이해할 수 있도록 합니다. 특히 TPO는 DPO와 유사하지만, 시각적 레이블을 활용하여 MLLM의 시각적 이해 능력을 향상시키는 점이 다릅니다.

read the caption

Figure 2: Comparison of Learning Method. A solid line indicates data flow, and a dotted line represents feedback. and denote modules that are frozen and unfrozen.

🔼 그림 3은 제안하는 TPO(Task Preference Optimization) 모델의 전체 구조를 보여줍니다. TPO는 크게 네 가지 구성 요소로 이루어져 있습니다. 첫째, 비전 인코더(Vision Encoder)는 입력 영상을 처리하여 특징 벡터를 추출합니다. 둘째, 커넥터(Connector)는 비전 인코더로부터 얻은 특징 벡터와 사용자의 질문을 결합합니다. 셋째, 대규모 언어 모델(Large Language Model)은 커넥터로부터 받은 정보를 기반으로 응답을 생성합니다. 마지막으로, 여러 개의 비전 작업 헤드(Visual Task Heads)는 대규모 언어 모델의 출력에 연결되어 특정 비전 작업(예: 영역, 시간, 마스크)을 수행합니다. 그림에서 다른 색상의 불꽃 기호는 학습 과정의 각 단계에서 어떤 구성 요소가 고정되고 어떤 구성 요소가 학습되는지 나타냅니다. 이는 다양한 비전 작업을 효율적으로 처리하고 전체적인 다중 모드 성능을 향상시키기 위한 TPO의 핵심 메커니즘을 보여줍니다.

read the caption

Figure 3: Overall Pipeline of TPO. The architecture of Task Preference Optimization (TPO) consists of four main components: (1) a vision encoder, (2) a connector, (3) a large language model, and (4) a series of visual task heads. Differently colored flame symbols indicate which components are unfrozen at various stages of the training process.

🔼 표 3은 grounded question answering(GQA) 작업에 대한 실험 결과를 보여줍니다. 다양한 모델들의 정확도(Acc), IoU(Intersection over Union), IoP(Intersection over Prediction) 지표를 비교하여 TPO(Task Preference Optimization) 기법의 효과를 보여줍니다. 특히, Acc@IoP와 Acc@GQA 점수는 모델이 비디오 내용을 효과적으로 이해하고 복잡한 추론 작업을 처리하는 능력을 보여줍니다. 이 표는 TPO가 비디오 이해 및 추론 능력을 향상시켜, 복잡한 질문에도 정확하고 시의적절한 답변을 생성할 수 있음을 시사합니다.

read the caption

Table 3: Performance on Grounded QA.

🔼 표 4는 제시된 TPO 방법이 이미지 이해 과제에서 얼마나 성능 향상을 가져왔는지 보여줍니다. 다양한 벤치마크(MMIU, SEED-Bench2)에서 기존 VideoChat2 모델 대비 성능 향상 수치를 보여주는 표입니다. 구체적으로는 각 벤치마크별 평균 점수와 개별 과제별 점수 향상률을 제시하여 TPO의 효과를 정량적으로 평가합니다. 특히, LLaVA-Interleave, InternVL1.5-Chat 등 다른 최첨단 모델들과의 비교를 통해 TPO의 경쟁력을 보여줍니다.

read the caption

Table 4: Performance on Image Understanding.

🔼 표 5는 제로샷 방식으로 수행된 순간 검색(Moment Retrieval) 작업의 성능을 보여줍니다. 이 표는 다양한 모델의 성능을 비교하여 제로샷 순간 검색 작업에서 각 모델의 정확도를 보여줍니다. 특히, 회색으로 표시된 부분은 LLM(대규모 언어 모델)을 사용하지 않은 모델을 나타냅니다. 이는 LLM의 사용 유무에 따른 성능 차이를 비교 분석하는 데 도움이 됩니다.

read the caption

Table 5: Zero-Shot Performance on Moment Retrieval.Gray means no LLM.

🔼 표 6은 순수 비전 모델(LLM 없음)과 LLM 기반 모델을 포함한 다양한 모델의 영상 장면 검색 및 하이라이트 감지 성능을 보여줍니다. 정확도와 IoU(Intersection over Union) 점수를 비교하여 각 모델의 성능을 평가하고, 제로샷(zero-shot)과 미세 조정(fine-tuned) 설정에서의 성능 차이를 분석합니다. 회색으로 표시된 부분은 LLM을 사용하지 않은 순수 비전 모델임을 나타냅니다.

read the caption

Table 6: Fine-tuning Performance on Moment Retrieval and Highlight Detection. Gray means no LLM.

🔼 표 7은 공간적 지시(Spatial Grounding) 작업에 대한 결과를 보여줍니다. 이 작업은 사용자의 텍스트 설명을 기반으로 이미지 내에서 특정 객체의 위치를 찾는 것을 목표로 합니다. VideoChat-TPO는 간단한 태스크 헤드만을 사용하여 픽셀-투-임베딩 방식보다 성능이 우수함을 보여줍니다. 이는 VideoChat-TPO가 픽셀 단위의 정확한 위치 정보를 효과적으로 처리할 수 있음을 시사합니다. 세부적으로는, VideoChat-TPO가 RefCOCO 데이터셋에서 기존의 최첨단 모델들과 비교하여 우수한 성능을 달성했다는 점을 강조하고 있습니다. 특히, 픽셀-투-시퀀스 방식의 모델과 비교하여 경쟁력 있는 결과를 제시합니다.

read the caption

Table 7: Spatial Grounding Task. ★★\bigstar★ with a refined decoder.

🔼 표 2는 다양한 비디오 이해 벤치마크에서 제안된 TPO 방법을 사용한 VideoChat 모델의 성능을 보여줍니다. 비교 대상은 동일한 세대의 LLM 또는 16프레임 입력을 사용하는 다른 모델들입니다. ‘w/o s.‘는 자막 없이, ‘w/s.‘는 자막을 포함하여 평가한 결과를 나타냅니다. M-AVG는 MLVU(Multimodal Large-scale Video Understanding) 벤치마크의 평균 점수를 의미합니다. 표에는 MVBench, VideoMME, 그리고 MLVU 세 가지 벤치마크에 대한 성능이 제시되어 있으며, 각 벤치마크 내에서도 비디오 길이(짧음, 중간, 긴)에 따른 세분화된 결과를 확인할 수 있습니다. 이를 통해 TPO가 다양한 비디오 길이와 조건에서 강건하고 우수한 성능을 보임을 보여줍니다.

read the caption

Table 2: Performance on Multimodal Video Understanding. We compare our model to others using LLMs of the same generation or 16-frame input. w/o s. indicates without subtitle, while w s. indicates with subtitle. M-AVG refers to the mean average of MLVU.

🔼 표 11은 TPO(Task Preference Optimization) 모델의 성능에 대한 ablation study 결과를 보여줍니다. 특히 추론 데이터(reasoning data)와 각각의 task head (temporal, region, mask head) 가 모델 성능에 미치는 영향을 분석합니다. 각 열은 특정 구성 요소의 유무에 따른 다양한 지표(예: R@0.3, R@0.5, R@0.7, mIoU, AVG)를 나타내며, 각 행은 다른 실험 조건(추론 데이터 유무, 특정 task head 제거 등)을 의미합니다. 이 표를 통해 연구자들은 TPO 모델의 주요 구성 요소들이 성능에 얼마나 기여하는지, 그리고 각 구성 요소의 상호 작용을 정량적으로 분석할 수 있습니다.

read the caption

Table 11: Ablation of Reasoning Data and Head Performance.

🔼 표 12는 TPO 구성 요소와 데이터의 영향을 보여줍니다. T, R, M, C는 각각 시간적 헤드, 영역 헤드, 마스크 헤드, 대화 데이터를 나타냅니다. R1@0.5는 Charades-STA 데이터셋에서 R1@0.5를, Acc@0.5는 모든 COCO 데이터셋에서 Acc@0.5의 평균을, 𝒥&ℱ는 Ref-YouTube-VOS 데이터셋에서 𝒥&ℱ를 나타냅니다. 이 표는 다양한 시각적 과제에 대한 TPO 구성 요소의 기여도를 정량적으로 분석하여 TPO의 성능 향상에 대한 통찰력을 제공합니다.

read the caption

Table 12: Impact of TPO Components and Data. T, R, M, and C denote temporal head, region head, mask head, and conversation data respectively. R1@0.5 means R1@0.5 in Charades-STA, Acc@0.5 represents the mean of Acc@0.5 in all COCO datasets, 𝒥𝒥\mathcal{J}caligraphic_J&ℱℱ\mathcal{F}caligraphic_F means 𝒥𝒥\mathcal{J}caligraphic_J&ℱℱ\mathcal{F}caligraphic_F in Ref-YouTube-VOS.

🔼 표 13은 MVBench 멀티초이스 질문응답 과제에 대한 VideoChat-TPO 모델의 성능을 보여줍니다. MVBench는 다양한 시각적 지각 능력(예: 시간적 추론, 공간적 추론, 시공간적 추론 등)을 평가하는 비디오 이해 벤치마크입니다. 이 표는 여러 모델(VideoChat2, TimeChat, Video-LLaVA, ShareGPT4Video, ST-LLM, Chat-UniVi, PLlava-34B 등)과 비교하여 VideoChat-TPO의 전반적인 성능과 하위 과제별 성능을 보여줍니다. 또한 자막 유무에 따른 성능 차이도 확인할 수 있습니다. 각 모델의 성능은 정확도(%)로 나타내며, VideoChat-TPO는 여러 모델 중 가장 높은 성능을 보입니다.

read the caption

Table 13: Results on MVBench Multi-choice Question Answering.

🔼 표 14는 논문의 실험 결과 중 다중 이미지 이해(MMIU) [60]에 대한 정량적 결과를 보여줍니다. MMIU는 다양한 다중 이미지 관계를 포함하는 광범위한 벤치마크로, 총 52개의 작업과 77,000개의 이미지, 그리고 11,000개의 엄선된 객관식 질문으로 구성됩니다. 표는 다양한 모델들의 정확도(Accuracy)를 측정한 결과를 보여주며, ‘Overall’ 점수는 모든 작업에 대한 종합적인 성능을 나타냅니다. 이 표를 통해 TPO(Task Preference Optimization) 기법을 적용한 모델이 기준 모델에 비해 얼마나 향상된 성능을 보이는지, 그리고 다양한 시각적 작업에 대한 모델의 세부적인 성능을 비교 분석할 수 있습니다.

read the caption

Table 14: Quantitative results of MMIU [60]. Accuracy is the metric, and the Overall score is computed across all tasks.

🔼 표 15는 TPO(Task Preference Optimization) 모델의 성능에 대한 ablation study 결과를 보여줍니다. 다양한 시각적 과제 데이터셋을 사용하여 실험을 진행했으며, 각 데이터셋을 사용했을 때의 성능 변화를 보여주는 표입니다. 구체적으로는, 어떤 시각적 과제 데이터를 사용했을 때 TPO 모델의 성능이 어떻게 변하는지, 그리고 각 과제 데이터셋의 크기가 모델 성능에 어떤 영향을 미치는지 등을 분석한 결과를 보여줍니다. 이를 통해 TPO 모델의 성능에 가장 크게 영향을 미치는 요소와 모델의 일반화 능력 향상에 필요한 데이터셋 구성에 대한 통찰력을 제공합니다.

read the caption

Table 15: Ablation task datasets.

🔼 표 16은 논문에서 제시된 VideoChat-TPO 모델의 학습 설정을 보여줍니다. 각 열은 Vision Encoder 학습률, Connector 학습률, Temporal Head 학습률, Region Head 학습률, Mask Head 학습률, Mask Adapter 학습률, 각 태스크 토큰의 학습률, LLM LoRA 학습률, 최적화 알고리즘, 가중치 감쇠, 입력 해상도, 입력 프레임 수, LLM LoRA Rank, LLM LoRA Alpha, 웜업 비율, 배치 크기, 에폭 수, 그리고 수치적 정밀도 등의 하이퍼파라미터를 나타냅니다. 각 설정 값은 학습의 세 단계 (Stage 1, Stage 2, Stage 3, Stage 3 w/o Con.) 에 따라 다르게 설정되어 있으며, Frozen 열은 특정 단계에서 고정된(학습하지 않는) 파라미터를 나타냅니다. Con.은 대화 데이터를 의미하고, LR은 학습률을 의미합니다. 이 표는 VideoChat-TPO 모델의 학습 과정을 이해하는 데 중요한 정보를 제공합니다.

read the caption

Table 16: Training Settings of VideoChat-TPO. Con. means conversation data and LR means learning rate.

🔼 표 17은 TPO(Task Preference Optimization) 방법론의 훈련에 사용된 데이터셋을 보여줍니다. 각 단계별로 사용된 데이터의 종류와 개수를 상세하게 기술합니다. 특히, Temporal Grounding 작업에는 moment retrieval과 highlight detection 두 가지 하위 작업이 포함되어 있음을 명시합니다. 세부적으로는 각 단계(Stage 1, 2, 3)별로 Temporal Grounding, Spatial Grounding, Segmentation 작업에 사용된 데이터셋의 이름과 각 데이터셋에 포함된 샘플 수를 보여줍니다. 추가적으로, Temporal Reasoning과 대화 데이터 (Conversation) 에 사용된 데이터셋과 샘플 수도 포함되어 있습니다. 이 표는 TPO 모델 훈련의 구성 요소를 이해하는 데 중요한 정보를 제공합니다.

read the caption

Table 17: Training Datasets. The temporal grounding includes two subtasks: moment retrieval and highlight detection.