BoostStep: Boosting mathematical capability of Large Language Models via improved single-step reasoning

🔼 그림 2는 제안된 방법이 문제 수준의 문맥 학습(problem-level in-context learning)에서 단계 수준의 문맥 학습(step-level in-context learning)으로 발전하는 과정을 보여줍니다. (a)는 기존의 문제 수준 문맥 학습 방식으로, 전체 문제에 대한 몇몇 예시를 제공하여 모델이 문제를 푸는 데 도움을 줍니다. 하지만 이 방식은 문제 풀이 과정의 세부적인 단계별 지침을 제공하지 못하고, 예시 문제와의 관련성이 떨어져 오히려 방해가 될 수 있습니다. (b)는 제안된 단계 수준 문맥 학습 방식으로, 문제 풀이의 각 단계마다 관련된 예시를 제공하여 실시간으로 보다 세밀한 지침을 제공합니다. 이는 모델이 각 단계에서 더 정확하게 추론할 수 있도록 돕고, Monte Carlo Tree Search (MCTS) 전략에서 추론 및 검증 과정을 안내하는 데에도 효과적입니다. (c)는 MCTS에서 단계 수준 문맥 학습이 어떻게 추론과 검증 과정을 안내하는지 보여주는 예시입니다. 즉, 제안된 방법은 각 단계의 추론에 대해 관련된 예제를 제공하여 더욱 정확하고 효율적인 문제 해결을 가능하게 합니다.

read the caption

Figure 2: Our strategy refines in-context learning from problem-level granularity (fig.a) to step-level granularity(fig.b) to provide more real-time fine-grained guidance. Moreover, our strategy can guide the reasoning and verifying process in Monte Carlo Tree Search (MCTS) strategies by introducing examples.

🔼 그림 3은 서로 다른 문제들이 유사한 단계들을 포함할 수 있음을 보여줍니다. 문제 수준의 문맥 학습은 문제의 유사성이 낮기 때문에 이러한 예시를 무시하지만, 본 논문에서 제안하는 단계 수준의 문맥 학습은 단계 수준 검색과 안내를 통해 핵심 기술을 도입할 수 있습니다. 즉, 문제 전체가 아닌 문제 해결 과정의 각 단계별로 유사한 예시를 찾아 활용함으로써, 문제 수준의 문맥 학습보다 더욱 효과적인 학습이 가능함을 시각적으로 보여주는 예시입니다.

read the caption

Figure 3: An example of different problems may contain similar steps. Problem-level in-context learning will ignore this example due to low problem similarity, while our step-level in-context learning can introduce the core skills by step-level retrieval and guidance.

🔼 그림 4는 단계별 문맥 학습을 통해 실시간 추론 중 추론 과정을 조정하는 구체적인 예시를 보여줍니다. 모델의 첫 번째 시도는 잘못된 방정식을 사용하지만 검색된 예시 단계는 모델이 올바른 방정식을 사용하고 올바른 결론에 도달하도록 안내합니다. 이 그림은 잘못된 방정식을 사용한 첫 번째 시도와 올바른 방정식을 사용하도록 안내하는 검색된 예시 단계를 보여줌으로써, 단계별 문맥 학습을 통한 실시간 추론 조정 과정을 자세히 설명합니다.

read the caption

Figure 4: A specific example of adjusting reasoning during real-time inference through step-level in-context learning. The first-try uses a wrong equation while the retrieving example step guides the model to use the correct equation and get the correct conclusion.

🔼 표 2는 제시된 문제 은행과 유사성이 낮은 다중 모드 수학 벤치마크에서 서로 다른 전략들을 비교한 결과를 보여줍니다. GPT-4 모델을 기반으로, 문제 은행과의 유사도가 낮은 벤치마크(Math Vision-Mini와 MathVerse-Mini)에서 제시된 방법의 성능을 평가합니다. ‘0-shot’, ‘few-shot’ 방법과 제안된 방법의 성능 차이를 보여주어 제안된 방법의 효과를 확인합니다.

read the caption

Table 2: Comparison of different strategies in multi-modal mathematical benchmarks with lower similarity with our problem bank. Base models are all GPT-4o.

🔼 이 표는 질문과 예시 문제 데이터셋 간 유사성 민감도에 대한 실험 결과를 보여줍니다. R_t는 어떠한 거절 전략 없이 예시들이 t번째로 유사하다는 것을 나타냅니다. 즉, 유사도가 낮은 예시가 주어졌을 때, 제안된 방법은 성능 저하가 2.26%로, 기존의 몇 샷 학습 방법(4.4%)보다 훨씬 낮다는 것을 보여줍니다. 이는 제안된 방법이 유사도가 낮은 예시에도 더 강건함을 시사합니다.

read the caption

Table 3: Experiments on the sensitivity of the similarity between the question and the example problem bank. R_t indicates that the examples are the t_th similar for different method without any rejection strategy. Given a less similar example, our method suffers an 2.26% performance loss, which is much lower comparing to few-shot learning(4.4%).

🔼 표 4는 단계별 예제 문제 은행을 구축하는 서로 다른 방법들을 비교한 표입니다. 문제 풀이 과정을 단계별로 나누는 방법으로 문법적 구분(구두점 사용)과 추론 내용 기반 구분을 비교하여, 각 방법이 AMC12, AMC10, MATH 벤치마크에서의 성능에 미치는 영향을 보여줍니다. 추론 내용 기반 구분이 문법적 구분보다 더 나은 성능을 보임을 보여줍니다.

read the caption

Table 4: Comparison of different step-level example problem Bank construction methods.

🔼 표 5는 단계별 문맥 학습에서 서로 다른 검색 전략을 비교한 표입니다. 기본 모델은 GPT-4이며, 모든 프롬프트는 동일합니다. ‘경로’는 이전 단계 𝑠𝑖−1, 𝑠𝑖−2, …, 𝑠1 및 질문 q를 포함한 추론 경로를 통해 검색하는 것을 나타내고, ‘이전 단계’는 바로 이전 단계 𝑠𝑖−1만을 통해 검색하는 것을 나타냅니다. 최상의 결과는 굵게 표시되어 있습니다.

read the caption

Table 5: Comparison on different retrieval strategies in step-level in-context learning. The base model is GPT-4o and all the prompts are the same. ’Path’ represents retrieving by the reasoning path including all previous step si−1,si−2,…,s1subscript𝑠𝑖1subscript𝑠𝑖2…subscript𝑠1s_{i-1},s_{i-2},\ldots,s_{1}italic_s start_POSTSUBSCRIPT italic_i - 1 end_POSTSUBSCRIPT , italic_s start_POSTSUBSCRIPT italic_i - 2 end_POSTSUBSCRIPT , … , italic_s start_POSTSUBSCRIPT 1 end_POSTSUBSCRIPT and question q𝑞qitalic_q, while ’Pre-Step’ represents retrieving by only the immediately preceding step si−1subscript𝑠𝑖1s_{i-1}italic_s start_POSTSUBSCRIPT italic_i - 1 end_POSTSUBSCRIPT. Best results are in bold.

🔼 표 6은 몬테카를로 트리 탐색(MCTS) 방법의 추론 및 검증 단계에서 유사한 단계 검색을 통합하여 세분화된 지침을 제공하는 것에 대한 자세한 절제 분석 결과를 보여줍니다. 기본 모델은 GPT-40이며 프롬프트는 동일합니다. 최상의 결과는 굵게 표시되어 있습니다. 이 표는 MCTS 방법의 추론 및 검증 단계에서 유사 단계 검색을 추가했을 때의 성능 변화를 보여줍니다. Reason 열은 추론 단계에서 유사 단계를 활용했는지 여부를, Verify 열은 검증 단계에서 유사 단계를 활용했는지 여부를 나타냅니다. 각 열의 결과는 AMC12, AMC10 및 MATH 벤치마크에 대한 성능을 보여줍니다.

read the caption

Table 6: A detailed ablation on incorporating retrieving similar steps to provide fine-grained guidance during the reasoning and verifying phases of Monte Carlo Tree Search (MCTS) methods. Base models are GPT-4o and prompts are the same. Best results are in bold.