AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling

🔼 그림 2는 본 논문에서 사용된 지도 학습 미세 조정(SFT) 데이터셋의 구성 비율을 보여줍니다. 전체 SFT 토큰 중 수학 관련 토큰, 코딩 관련 토큰, 그리고 기타 영역 토큰의 비율을 시각적으로 나타냅니다. 수학 및 코딩 영역에 상당한 양의 데이터가 투입되었음을 알 수 있습니다.

read the caption

Figure 2: The proportion of total SFT tokens for math, coding, and other categories.

🔼 본 그림은 AceMath-Instruct 모델의 성능에 대한 기본 모델 또는 수학 기반 모델을 백본으로 사용했을 때의 영향을 보여줍니다. 서로 다른 모델 유형 및 크기에 걸쳐 해당 수학 지시 모델과 비교하여 모델 성능을 평가하고 있습니다. 결과는 수학 벤치마크에 대한 탐욕적 디코딩의 평균 점수를 나타냅니다. 즉, 다양한 크기의 언어 모델을 기본 모델 또는 수학 전용으로 미세 조정된 모델을 기반으로 학습시켰을 때, AceMath-Instruct 모델의 성능 변화를 보여주는 그래프입니다. 그래프를 통해 기본 모델과 수학 기반 모델을 백본으로 사용하는 것이 모델 성능에 미치는 영향을 비교 분석할 수 있습니다.

read the caption

Figure 3: Studies on the impact of using either the base model or the math base model as the backbone on the performance of our AceMath-Instruct models. We compare our models against the corresponding math-instruct baselines across different model types and sizes. Results are the average scores of greedy decoding over the math benchmarks.

🔼 그림 4는 AceMath-7B-Instruct 모델의 성능을 다양한 수학 벤치마크 데이터셋 7개에 대해 rm@k 지표를 사용하여 평가한 결과를 보여줍니다. rm@k는 모델이 생성한 k개의 응답 중 정답을 포함하는 비율을 나타내는 지표입니다. 이 그림은 모델 크기가 증가함에 따라 정확도가 향상되는 것을 보여주는 학습 곡선을 제시하며, AceMath-7B-Instruct 모델의 성능이 데이터셋 종류에 따라 어떻게 달라지는지 보여줍니다. 다양한 데이터셋에서 평균 정확도를 비교하여 모델의 전반적인 성능을 평가하고, rm@k 값의 변화를 통해 모델의 응답 정확도를 다각적으로 분석합니다.

read the caption

Figure 4: rm@k𝑘kitalic_k evaluation on average accuracy of 7 datasets for AceMath-7B-Instruct.

🔼 그림 5는 보상 모델 학습에 대한 학습 곡선을 보여줍니다. 모델 크기(0.5B, 1.5B, 3B, 7B, 14B, 32B 매개변수)별로 다양한 수학 벤치마크(GSM8K, MATH500, Minerva Math, Gaokao 2023EN, Olympiad Bench, College Math, MMLU STEM)에서의 정확도 변화를 보여줍니다. Qwen2.5-Instruct 계열의 모델들을 사용하여 학습하였으며, 학습 진행에 따른 정확도 향상 추세를 보여줍니다. 특히, 더 어려운 문제를 요구하는 벤치마크에서 더 큰 모델이 더 나은 성능을 보이는 경향을 보여줍니다.

read the caption

Figure 5: Learning curves for reward model training. All models are trained from Qwen2.5-Instruct family.

🔼 표 2는 본 논문에서 제안하는 2단계 일반 SFT(Supervised Fine-Tuning) 전략의 효과를 평가하기 위한 실험 결과를 보여줍니다. 다양한 기본 모델(Llama3.1-8B, Qwen2.5-7B)에 대해 2단계 SFT 전략을 적용하고, 단일 단계 SFT 전략 (전체 일반 SFT 데이터 사용, 2단계 데이터만 사용)과 비교 분석합니다. 각 SFT 전략의 성능을 HumanEval, MBPP, GSM8K, MATH, MMLU, MMLU Pro 등 다양한 벤치마크에서 평가하여 2단계 전략의 효과를 정량적으로 분석합니다.

read the caption

Table 2: Ablation studies of our general SFT models regarding the effectiveness of the two-stage training strategy.

🔼 표 3은 다양한 수학 벤치마크에서 수학 관련 지시 모델의 탐욕적 디코딩(pass@1) 결과를 보여줍니다. AceMath-1.5B/7B/72B-Instruct 모델은 Qwen2.5-Math-1.5B/7B/72B 기본 모델을 기반으로 구축되었으며, 특히 AceMath-72B-Instruct 모델은 이전 최첨단 수학 지시 모델인 Qwen2.5-Math-72B-Instruct 모델을 크게 능가합니다. 이 표는 다양한 크기의 모델들(1.5B, 7B, 72B)의 성능을 비교하여 모델 크기가 성능에 미치는 영향을 보여줍니다. 각 모델은 여러 수학 벤치마크(GSM8K, MATH, Minerva Math, Gaokao 2023 English, Olympiad Bench, College Math, MMLU STEM)에서 평가되었으며, pass@1 정확도가 제시됩니다.

read the caption

Table 3: Greedy decoding (pass@1) results of math instruct models on math benchmarks. Our AceMath-1.5B/7B/72B-Instruct models are built upon the Qwen2.5-Math-1.5B/7B/72B-base models. AceMath-72B-Instruct greatly surpasses the previous state-of-the-art math-instruct model, Qwen2.5-Math-72B-Instruct.

🔼 표 4는 AceMath-Instruct 모델 학습을 위한 다양한 기본 모델에 대한 학습 데이터 및 전략에 대한 추가 분석 결과를 보여줍니다. 이 표는 세 가지 측면으로 나뉘어져 있습니다. 첫째, GPT-40-mini 응답과 Qwen-2.5-Math-72B-Instruct 응답을 개별적으로 사용했을 때의 효과를 평가합니다. 둘째, 수학 SFT를 위한 다양한 수학 특정 샘플의 효과를 분석합니다. 셋째, 수학 SFT 전에 일반적인 SFT를 수행했을 때의 영향을 평가합니다.

read the caption

Table 4: Ablation Studies on training data and strategies across various backbone models for training our AceMath-Instruct models. The ablation studies can be categorized into three parts: 1) evaluating the effectiveness of using either GPT-4o-mini responses or Qwen2.5-Math-72B-Instruct responses individually; 2) analyzing the effectiveness of different math-specific samples for math SFT; and 3) assessing the impact of conducting general SFT prior to math SFT.

🔼 이 표는 AceMath-Instruct 모델에 대한 에이블레이션 연구 결과를 보여줍니다. Qwen2.5-7B-Base 모델을 백본으로 사용하여, 합성된 수학 SFT 데이터를 제거하거나 저품질의 합성 데이터를 추가했을 때의 성능 변화를 보여줍니다. 7개의 수학 벤치마크에 대한 평균 점수를 나타냅니다. 합성 데이터의 품질과 양이 모델 성능에 미치는 영향을 분석하기 위한 실험 결과입니다.

read the caption

Table 5: Ablation studies on the synthetic data, exploring the effects of removing all synthetic math SFT data and incorporating additional low-quality synthetic math SFT data. The backbone of AceMath-Instruct is Qwen2.5-7B-Base. Results are average across the seven math benchmark.

🔼 표 6은 AceMath-RewardBench에 대한 reward model 평가 결과를 보여줍니다. 7개의 수학 벤치마크에 대해 평가했으며, 각 문제마다 8개의 LLM (Qwen{2/2.5}-Math-{7/72}B-Instruct, Llama-3.1-{8/70}B-Instruct, Mathtral-7B-v0.1, deepseek-math-7b-instruct)에서 생성된 64개의 응답 후보 중 8개를 무작위로 선택하여 rm@8 지표를 계산했습니다. 이 과정을 100번 반복하여 평균 rm@8 점수를 산출했습니다. 표에는 각 모델의 평균 rm@8 정확도와 7개 벤치마크별 성능이 제시되어 있습니다.

read the caption

Table 6: Reward model evaluation on AceMath-RewardBench. The average results (rm@8) of reward models on math benchmarks, randomly sample 8 responses from 64 candidates with 100 random seeds. Response candidates are generated from a pool of 8 LLMs (Qwen{2/2.5}-Math-{7/72}B-Instruct, Llama-3.1-{8/70}B-Instruct, Mathtral-7B-v0.1, deepseek-math-7b-instruct).

🔼 표 7은 Lambert et al.(2024)의 RewardBench(MATH500)와 Kim et al.(2024)의 RewardMATH 두 가지 벤치마크에서 다양한 보상 모델의 정확도를 보여줍니다. RewardBench는 MATH 데이터셋의 500개 문제를 사용하며, 하나의 정답과 하나의 오답 후보를 제공하는 반면, RewardMATH는 하나의 정답(GPT-4가 다시 작성)과 9개의 오답 후보를 제공합니다. 표는 각 모델의 MATH500과 RewardMATH에서의 정확도(rm@8 지표 사용)를 보여주며, 최고 정확도(top-1)와 두 번째로 높은 정확도(top-2)를 굵은 글씨와 밑줄로 표시하여 시각적 이해를 돕습니다. RewardMATH의 결과는 해당 논문에서 가져온 것입니다. 이 표는 보상 모델이 다양한 스타일과 복잡성의 수학 문제에 어떻게 반응하는지 비교 분석하는 데 도움이 됩니다.

read the caption

Table 7: The accuracy of reward models on RewardBench (MATH500) (Lambert et al., 2024) and RewardMATH (Kim et al., 2024). ††\dagger†: Results are copied from RewardMATH. Bold: top-1. Underline: top-2 accuracy.

🔼 표 8은 AceMath-RewardBench를 사용하여 AceMath-7/72B-RM에 대한 추가 분석 결과를 보여줍니다. 기본 모델(Backbone)은 AceMath-7/72B-Instruct이며, 데이터는 보상 점수를 기반으로 정렬된 샘플링(reward score-sorted sampling) 방식을 사용했고, 손실 함수(Loss)는 listwise Bradley-Terry 함수를 사용했습니다. 이 표는 보상 모델의 성능에 영향을 미치는 요소들(예: 기본 모델, 데이터 샘플링 방법, 손실 함수)을 각각 변화시켜가며 실험한 결과를 비교 분석하여 어떤 요소가 가장 큰 영향을 주는지 파악하고, 보상 모델의 성능 향상에 기여할 수 있는 최적의 설정을 찾는 데 도움을 줍니다.

read the caption

Table 8: Ablation study of AceMath-7/72B-RM on AceMath-RewardBench (Backbone: AceMath-7/72B-Instruct; Data: reward score-sorted sampling; Loss: listwise Bradley-Terry.

🔼 표 9는 AceMath-Instruct 모델의 AIME 2024 및 AMC 2023 데이터셋에 대한 정답률을 보여줍니다. Greedy decoding 방식을 사용하여 모델의 성능을 평가했습니다. AIME 2024는 고난이도 수학 문제를 포함하고 있고, AMC 2023은 상대적으로 쉬운 문제들을 포함하고 있기 때문에, 두 데이터셋에 대한 결과를 비교함으로써 AceMath-Instruct 모델의 다양한 난이도의 문제에 대한 해결 능력을 평가할 수 있습니다.

read the caption

Table 9: Greedy decoding results of AceMath-Instruct on AIME 2024 and AMC 2023.

🔼 표 10은 다양한 백본 모델을 사용하여 AceMath-Instruct 모델의 성능을 평가한 결과를 보여줍니다. AceMath-Instruct 모델은 다양한 크기의 Qwen2.5, Llama 3.1, DeepSeek-Coder 백본 모델을 기반으로 미세 조정되었으며, GSM8K, MATH, Minerva Math, Gaokao 2023 English, Olympiad Bench, College Math, MMLU STEM 등 다양한 수학 벤치마크에서 성능을 평가했습니다. 이 표는 각 백본 모델의 종류와 크기, 그리고 AceMath-Instruct 모델의 성능을 비교하여 어떤 백본 모델이 AceMath-Instruct 모델의 성능에 가장 큰 영향을 미치는지 확인하고, 다양한 크기의 모델에서 AceMath-Instruct 모델의 일반화 능력을 분석하는 데 도움이 됩니다.

read the caption

Table 10: Greedy decoding results of AceMath-Instruct across different backbone models.