GeoX: Geometric Problem Solving Through Unified Formalized Vision-Language Pre-training

🔼 이 그림은 GeoX 모델의 학습 과정에 대한 전체적인 개요를 보여줍니다. GeoX는 형식화된 시각-언어 사전 학습을 통해 자동 기하 문제 해결을 위한 다재다능한 방법을 제시하며, 세 가지 단계로 구성됩니다. 1단계는 기하 시각 및 언어 사전 학습으로, 기하 다이어그램과 기하 기호에 대한 GeoX의 이해 능력을 향상시킵니다. 2단계는 기하-언어 정렬 단계로, 생성기 및 샘플러 변환기(GS-Former)를 사용하여 기하 다이어그램과 형식 언어 설명 사이의 차이를 해소합니다. 3단계는 종단 간 시각 명령 조정 단계로, GeoX가 입력 기하 문제와 이미지를 기반으로 솔루션을 생성하도록 합니다.

read the caption

Figure 2: Overview of GeoX for training. We present a versatile method for automatic geometric problem solving through unified formalized vision-language pre-training, which comprises three progressive stages.

🔼 이 그림은 단일 모드 사전 훈련의 효과를 보여줍니다. 널리 사용되는 CLIP-ViT-B와 Geo-ViT-B를 비교하고, LLAMA-2-7B, LLEMMA-7B 및 Geo-LLM-7B의 세 가지 LLM 모델을 비교합니다. 각 모델의 성능은 GeoQA, UniGeo, Geometry3K, PGPS9K 벤치마크에서 평가됩니다.

read the caption

Figure 3: Effectiveness of Uni-modal Pre-training. We compare the widely used CLIP-ViT-B and our Geo-ViT-B, along with three LLM models: LLAMA-2-7B, LLEMMA-7B, and our Geo-LLM-7B.

🔼 이 그림은 GeoX 모델이 GeoQA, UniGeo, Geometry3K, PGPS9k 4가지 데이터셋에서 기하 문제를 푸는 과정을 시각적으로 보여줍니다. 각 예시는 문제에 해당하는 그림, GeoX가 예측한 풀이 과정, 정답, 그리고 GeoX의 예측값을 포함합니다. GeoX는 기하학적 기호, 숫자, 연산자를 포함하는 형식화된 프로그램 시퀀스를 생성하여 솔버가 컴파일하고 최종 답을 계산할 수 있도록 합니다.

read the caption

Figure 4: Visualization results on four datasets by our GeoX.

🔼 이 그림은 GeoX가 자연어로 된 기하학 문제를 해결하는 4가지 시각화된 예시를 보여줍니다. 그림의 각 부분은 이미지, 질문, GeoX의 예측, 실제 정답, 예측 정답으로 구성됩니다. GeoX는 접을 수 있는 테이블, 생일 모자, 회전문, 자전거와 같은 다양한 실제 이미지에 대한 기하학적 질문에 답할 수 있음을 보여줍니다.

read the caption

Figure 5: Four visualized examples of geometric problem in natural images solved by our GeoX.

🔼 이 그림은 GS-Former의 어텐션 맵을 다양한 유형의 기하학적 다이어그램(선, 직사각형, 삼각형, 원 등)에 시각화하여 보여줍니다. 밝은 영역은 의사 결정에 더 유용한 것으로 간주되는 영역을 나타내고, 어두운 영역은 의미적으로 관련이 없고 GS-Former에 의해 제거될 정보가 없는 영역을 나타냅니다.

read the caption

Figure 6: Attention map of GS-Former on different types of geometric diagrams.

🔼 이 그림은 복잡한 기하 문제를 풀기 위해 공식화된 프로그램을 예측하는 데 있어 GPT-40과 GeoX를 비교한 것입니다. GPT-40은 변수 없이 연산만 예측하거나(예: b의 g_equal), 잘못된 변수를 사용하거나(예: c의 gougu_minus 5.0 V_1 V_2 대 gougu_minus 5.0 V_0), 잘못된 연산을 사용하는 등(예: d의 g_equal 대 g_minus) 문제를 보입니다. 반면 GeoX는 이러한 복잡하고 다양한 경우에도 정확한 솔루션을 예측할 수 있습니다.

read the caption

Figure 7: Comparison of GPT-4o and GeoX in predicting formalized programs for solving complex geometric problems.

🔼 UniGeo 벤치마크에서 다양한 모델의 기하학 계산 및 증명 문제 해결 성능을 비교한 표입니다. 표에는 일반 모델(예: mPLUG-Owl2, LLaVA-v1.5, Qwen-VL, GPT-4V)과 특수 모델(예: UniMath-Flan-T5-base, LLaVA-v1.5+Solver, Geoformer, UniMath-T5-base, GeoX)의 성능 지표가 포함되어 있습니다. 각 모델에 대해 계산 문제와 증명 문제의 정확도를 측정하고, 증명 문제의 경우 하위 유형별 정확도(평행, 삼각형, 사각형, 합동, 닮음)도 함께 제공합니다.

read the caption

Table 2: Comparison of model performance on UniGeo for geometry calculation and proof problems.

🔼 표 3은 Geometry3K 및 PGPS9K 벤치마크에서 다양한 모델의 성능을 비교하여 GeoX의 효율성을 보여줍니다. 이 표는 일반 모델과 특수 모델의 Completion, Choice, Top-3 정확도를 비교합니다. 특히, GeoX는 두 데이터 세트 모두에서 다른 모델보다 우수한 성능을 보입니다.

read the caption

Table 3: Performance comparison on Geometry3K and PGPS9K.

Image	Caption	Image	Caption
	`Line A E D
Line A O C
Line B O D
Line B A
Line B C
Line C D
Line B E
Line E O`		`Line B A
Line O A
Line A C
Line B O C
Line A D
Line D C
\odot O lieson A C D B`
	`Line A O B
Line D C
Line D B
Line O C
\odot O lieson A D C B`		`Line A B
Line C D
Line E F
Line E C A
Line B D F`

🔼 MathVista-GEO의 testmini 부분 집합에 대한 정확도 점수를 보여주는 표입니다. MathVista-GEO는 MathVista 데이터셋에서 Geometry 문제들만 추출한 부분 집합입니다. 이 표는 GPT-4V, GPT-40, GeoX 세 가지 모델의 정확도를 비교하고 있습니다.

read the caption

Table 4: Accuracy scores on testmini of MathVista-GEO.

Eval Mode	Prompt
Choice	System Prompt: You are an intelligent robot expert at solving geometry problems. Please answer the Question based on the image. You should provide the reasoning process, and then you must give the correct choice in the end based on your reasoning in the following form: The answer is (A), (B), (C) or (D). Diagram: The Diagram is https://arxiv.org/html/2412.11863/image_id.png Question: As shown in the figure, in triangle A B C , it is known that angle A = 80.0 , angle B = 60.0 , D E parallel B C , then the size of angle C E D is (). Choices: (A) 40.0 (B) 60.0 (C) 120.0 (D) 140.0
Completion	System Prompt: You are an intelligent robot expert at solving geometry problems. Please answer the Question based on the image. You should provide the reasoning process, and then you must give the correct answer in the end based on your reasoning in the following form: e.g., The answer is [12.1]. Diagram: The Diagram is https://arxiv.org/html/2412.11863/image_id.png Question: Line m is the perpendicular bisector of XZ, WZ = 14.9. Find WX.

🔼 이 표는 형식화된 기하학적 언어와 시각적 표현 간의 정렬의 효과를 보여줍니다. 특히, 형식 언어와 자연 언어 모두 정렬에 사용될 때 Geometry3K 및 PGPS9K 벤치마크에서의 Completion, Choice, Top-3 측정항목의 성능을 비교합니다. GS-Former를 사용하지 않으면 기준 모델의 성능이 떨어지지만 GS-Former를 사용하면 성능이 크게 향상됩니다. 또한 형식 언어를 사용하는 것이 자연 언어보다 기하학적 문제 해결에 더 효과적이라는 것을 보여줍니다.

read the caption

Table 5: Effectiveness of geometry-language alignment.

🔼 GS-Former 내 모듈의 효과를 확인하기 위한 절제 연구 결과입니다. Geo-aware Query Generator(GQG)와 Semantics-guided Geometry Sampler(SGS)가 기하-형식 언어 정렬에 사용될 때 각 모듈의 기여도를 평가합니다. 각 모듈이 있을 때와 없을 때의 성능을 비교하여, 두 모듈이 모두 있을 때 최상의 성능을 달성함을 보여줍니다.

read the caption

Table 6: Ablation study of modules in GS-Former, assessing the contribution of GQG and SGS modules when GS-Former is utilized for geometry-formal language alignment.

🔼 이 표는 형식화된 다이어그램-캡션 쌍의 네 가지 예시를 보여줍니다. 각 예시는 기하학적 이미지의 점 간의 두 가지 관계(동일 선상 관계 및 동일 원상 관계)를 설명하는 형식화된 캡션과 함께 기하학적 다이어그램을 포함합니다.

read the caption

Table 7: Four examples of our formalized diagram-caption pairs containing two relationships among points in geometry images.