Progressive Multimodal Reasoning via Active Retrieval

🔼 그림 2는 논문에서 제안하는 통합 다중 모드 검색 모듈의 파이프라인을 보여줍니다. 다중 모드 질의(텍스트와 이미지)가 입력되면, 텍스트 전용 코퍼스와 다중 모드 코퍼스로부터 관련 정보를 검색하는 두 가지 검색 과정이 수행됩니다. 텍스트 검색은 텍스트 기반의 질의에 대해서만 작동하며, 다중 모드 검색은 텍스트와 이미지를 모두 고려합니다. 검색된 정보는 지식 개념 필터링 모듈을 거쳐, 질의와 관련된 핵심 정보만 추출됩니다. 최종적으로 추출된 핵심 정보는 다운스트림 작업에 사용됩니다. 이 그림은 다중 모달 질의에 대한 핵심 정보를 효율적이고 정확하게 검색하는 모듈의 구조를 자세히 설명합니다.

read the caption

Figure 2: The pipeline of our unified multimodal retrieval module.

🔼 그림 3은 본 논문에서 제안하는 AR-MCTS 프레임워크의 전체적인 구조를 보여줍니다. AR-MCTS는 먼저 통합된 검색 모듈을 사용하여 MCTS 프로세스의 각 단계에서 관련 정보를 검색합니다. 검색된 정보는 MCTS의 상태를 강화하여 MLLM의 가능한 동작 공간을 확장하는 데 사용됩니다. 특히, 그림에 나와있는 S1,3 및 S2,3과 같이 각 단계의 특정 상태에서는 추가적인 정보가 제공되지 않고, MLLM의 직접적인 출력으로 상태가 결정되는 경우도 있습니다. 즉, AR-MCTS는 단순히 정보를 추가하는 것이 아니라 MCTS의 각 단계에서 필요한 정보를 동적으로 검색하고 활용하여 MLLM의 추론 능력을 향상시키는 것을 목표로 합니다. 이 그림은 AR-MCTS의 작동 방식을 시각적으로 이해하는 데 도움을 줍니다.

read the caption

Figure 3: The overall framework of AR-MCTS: The retrieval module actively retrieves key insights at each step of the MCTS process. Then, the states of the MCTS is enhanced with different insights to expand the possible action space of the MLLM. Notably, one state of each step, such as state S1,3superscript𝑆13S^{1,3}italic_S start_POSTSUPERSCRIPT 1 , 3 end_POSTSUPERSCRIPT and S2,3superscript𝑆23S^{2,3}italic_S start_POSTSUPERSCRIPT 2 , 3 end_POSTSUPERSCRIPT in this figure, no insights are provided, and the state is a direct output of the MLLM.

🔼 그림 4는 추론 샘플링에 대한 스케일링 분석 결과를 보여줍니다. x축은 문제당 샘플링되는 솔루션의 수(1~32개)를 나타내고, y축은 정확도를 나타냅니다. ‘Random Choice’는 1부터 32까지 무작위로 샘플링했을 때의 평균 정확도를 의미합니다. 각 그래프는 서로 다른 방법(Random Choice, Self-Consistency, ORM, AR-MCTS)을 사용했을 때 세 가지 벤치마크(MATHVISTA 전체, We-Math S1, We-Math S3)에서의 정확도 변화를 보여줍니다. 이 그림을 통해 AR-MCTS가 샘플링 수가 증가함에 따라 더 나은 성능을 보이며 다른 방법들보다 우수한 성능을 보임을 확인할 수 있습니다.

read the caption

Figure 4: Scaling analysis on inference samplings. Random Choice denotes the average result of randomly sampling from 1 to 32.

🔼 그림 5는 다양한 모델에서 생성된 후보 추론 경로들을 시각화한 것입니다. 각 점은 하나의 추론 경로를 나타내며, 색상은 사용된 모델 또는 방법론(예: Beam Search, AR-MCTS)을 나타냅니다. 점들의 분포는 추론 경로의 다양성을 보여줍니다. 밀집되어 있는 경우는 다양성이 낮고, 넓게 분포되어 있는 경우 다양성이 높음을 의미합니다. 이 그림은 AR-MCTS가 기존의 Beam Search에 비해 더 다양한 추론 경로들을 생성함을 보여주는 증거로 제시되었습니다. 이는 AR-MCTS의 활성 검색(Active Retrieval) 메커니즘이 추론 과정의 다양성을 개선하는 데 효과적임을 시각적으로 보여줍니다.

read the caption

Figure 5: The visualization of the cadidate reasoning paths.

🔼 표 2는 중국 대입 시험인 GAOKAO의 다중 모드 문제 풀이 데이터셋(GAOKAO-MM)을 사용하여 다양한 다중 모드 대규모 언어 모델(MLLM)의 성능을 비교 분석한 표입니다. 다양한 MLLM 모델들에 대해 GAOKAO-MM 데이터셋에서의 전반적인 성능(총점), 수학, 중국어, 물리, 화학, 생물, 역사, 지리, 정치 과목별 정확도를 보여줍니다. 각 모델의 최고 점수는 굵은 글씨체로 강조 표시되어 있습니다. 이 표는 AR-MCTS 프레임워크의 일반적인 추론 능력 향상 효과를 다양한 과목에 걸쳐 평가하는 데 사용됩니다.

read the caption

Table 2: The Performance of MLLMs on GAOKAO-MM. The top scores for each model are highlighted in bold.

🔼 이 표는 Qwen2-7B 모델을 사용하여 다양한 구성 요소를 제거했을 때의 성능 변화를 보여주는 ablation study 결과를 나타냅니다. AR-MCTS 프레임워크의 각 구성 요소(PRM, 필터링, 능동적 검색)가 모델의 성능에 미치는 영향을 정량적으로 분석합니다. 각 구성 요소를 제거했을 때의 MATHVISTA(ALL), WE-MATH(S3), GAOKAO-MM(ALL) 세 가지 벤치마크에서의 성능 저하 정도를 수치로 제시하여 각 구성 요소의 중요성을 강조합니다.

read the caption

Table 3: Ablation study with Qwen2-7B. 'Filtering' denotes the knowledge concept filtering module.

🔼 본 표는 논문의 4장, 방법론 섹션에 포함되어 있으며, 일반적인 추론 지식의 통계 정보를 보여줍니다. 세부적으로는 Wikipedia(중국어), Wikipedia(영어), COIG 데이터셋의 각 데이터 수와 전체 데이터셋에서 차지하는 비율을 나타냅니다. 이 표는 본 논문에서 사용된 하이브리드 모달 검색 코퍼스의 구성 요소를 보여주는 데 도움이 됩니다.

read the caption

Table 4: The statistics of General Reasoning Knowledge.

🔼 표 5는 논문에서 사용된 수학적 추론 데이터셋의 통계를 보여줍니다. 본 표는 본 논문의 실험에 사용된 다양한 종류의 수학적 추론 데이터셋의 크기와 비율을 제시하며, 특히 텍스트 기반 데이터셋과 멀티모달 데이터셋을 구분하여 각 데이터셋의 구성 비율을 명확히 보여줍니다. 이는 다양한 데이터셋의 통계적 특징을 파악하는 데 도움이 되어, 실험 결과의 해석 및 모델 성능 비교에 유용한 정보를 제공합니다.

read the caption

Table 5: The statistics of Mathematics-Specific Reasoning Knowledge.

🔼 표 6은 MathVista 테스트 mini 세트에 대한 수학적 평가 결과를 보여줍니다. MathVista의 원래 12개 수학 범주 중 6개(전체 정확도, 기하 문제 해결, 수학 용어 문제, 대수적 추론, 기하 추론, 통계적 추론)를 선택했습니다. 각 모델의 결과에서 가장 높은 정확도 점수는 굵게 표시되어 있습니다. 이 표는 다양한 모델과 방법(제로샷, 자기 일관성, 자기 수정, ORM, AR-MCTS)의 성능을 비교하여 MathVista 데이터셋에서의 다양한 모델의 수학적 추론 능력을 평가합니다.

read the caption

Table 6: Mathematical evaluation on MathVista testmini sets. We select 6 out of the original 12 mathematical categories in MathVista: ALL (overall accuracy), GPS (geometry problem solving), MWP (math word problems), ALG (algebraic reasoning), GEO (geometry reasoning), and STA (statistical reasoning). In the results for each model, the best accuracy scores are highlighted in bold.

🔼 표 7은 하이브리드 모달 검색 풀에서 데이터 오염 분석 결과를 보여줍니다. 본 논문에서는 하이브리드 모달 검색 풀(텍스트 전용 데이터셋과 멀티모달 데이터셋의 결합)을 사용하며, 테스트 세트와의 데이터 중복을 방지하기 위해 오염 분석을 수행합니다. 표는 다양한 데이터 소스에서 가져온 상위 50개의 검색 결과와 테스트 세트 간의 중복 정도(n-gram threshold 13 사용)를 백분율로 나타냅니다. 이 분석을 통해 테스트 세트와 검색 풀 간의 데이터 오염이 거의 없음을 확인합니다.

read the caption

Table 7: The contamination analysis on hybrid-modal retrieval corpus.

🔼 본 표는 다양한 text retriever를 사용했을 때의 실험 결과를 보여줍니다. 구체적으로는, Qwen2-VL-7B 모델을 기반으로 BM25와 Contriever라는 두 가지 text retriever를 사용하여 MATHVISTA 데이터셋에 대한 실험을 진행하였습니다. 각 retriever를 사용했을 때의 전체 정확도(ALL), 기하 문제 풀이(GPS), 수학적 단어 문제(MWP), 대수적 추론(ALG), 기하 추론(GEO), 통계적 추론(STA) 성능을 비교 분석하여, 어떤 text retriever가 multimodal reasoning 성능 향상에 더 효과적인지 보여줍니다. 표의 수치는 해당 지표에 대한 정확도(%)를 나타냅니다.

read the caption

Table 8: The ablations of different text retrievers.

🔼 본 표는 다양한 다중 모드 검색 기법을 사용했을 때의 성능 차이를 보여줍니다. 특히, Qwen2-VL-7B 모델을 기준으로, CLIP-ViT-L/14 및 Jina-CLIP-v1과 같은 다중 모드 검색 방법을 추가했을 때의 WE-MATH 데이터셋(S1, S2, S3)에 대한 성능 변화를 보여줍니다. 각 검색 방법의 추가가 모델의 추론 성능에 미치는 영향을 정량적으로 비교 분석하여, 어떤 다중 모드 검색 방법이 가장 효과적인지를 제시합니다.

read the caption

Table 9: The ablations of different multimodal retrievers.

🔼 표 10은 다양한 PRM(Process Reward Model) 학습 목표의 성능 비교 결과를 보여줍니다. ‘PRM(Hard)‘는 하드 레이블을 사용한 PRM 학습 결과를, ‘PRM(Soft)‘는 소프트 레이블을 사용한 PRM 학습 결과를 나타냅니다. 각각의 방법에 대한 MATHVISTA 데이터셋에서의 전체 정확도(ALL) 및 하위 범주별(GPS, MWP, ALG, GEO, STA) 성능이 제시되어 있습니다. 이 표는 소프트 레이블을 사용한 PRM 학습이 하드 레이블을 사용한 학습보다 더 나은 성능을 보임을 보여주는 실험 결과를 요약한 것입니다.

read the caption

Table 10: The comparison of different training objectives for PRMs.