ToolHop: A Query-Driven Benchmark for Evaluating Large Language Models in Multi-Hop Tool Use

🔼 그림 2는 논문에서 제안하는 질의 중심 데이터 구성 방식을 보여줍니다. 이 방식은 도구 생성, 문서 개선, 코드 생성의 세 가지 주요 단계로 구성됩니다. 각각의 다단계 질의 내에 있는 원자적 하위 질의에 대해 자세한 도구 문서와 코드 구현을 점진적으로 개발하는 접근 방식입니다. 그림은 각 단계의 과정과 그 결과물을 시각적으로 보여주어, 다단계 질의를 처리하기 위한 도구 사용에 대한 이해를 돕습니다.

read the caption

Figure 2: An illustration of our proposed query-driven data construction scheme, comprising three key processes: tool creation, document refinement, and code generation. This approach incrementally develops detailed tool document and code implementation for each atomic subquery within a multi-hop query.

🔼 ToolHop 데이터셋에 있는 995개의 멀티홉 질의가 47개의 도메인에 걸쳐 얼마나 다양하게 분포되어 있는지 보여주는 그림입니다. 각 도메인별 질의 수를 막대 그래프로 나타내어, 데이터셋의 다양성과 실제 사용자 질의의 다양성을 반영하고 있음을 시각적으로 보여줍니다. 이는 ToolHop 데이터셋이 다양한 종류의 질의를 잘 포괄하고 있음을 보여주는 중요한 지표입니다.

read the caption

Figure 3: Distribution of user queries across 47 domains in the ToolHop dataset.

🔼 이 그림은 문서 개선 전후의 도구 매개변수 수의 분포를 보여줍니다. 문서 개선 전에는 매개변수의 수가 적게 분포되어 있지만, 문서 개선 후에는 더 많은 수의 매개변수가 사용되는 것을 보여줍니다. 이는 문서 개선 과정을 통해 도구의 기능이 향상되고 복잡성이 증가했음을 시사합니다.

read the caption

Figure 4: Distribution of the number of tool parameters before and after document refinement.

🔼 그림 5는 도구 매개변수의 자료형 분포를 도구 문서 개선 전과 후로 나누어 보여줍니다. 도구 문서 개선 전에는 문자열 자료형 매개변수가 대부분이었으나, 개선 후에는 배열, 정수, 객체 자료형 매개변수의 비중이 증가한 것을 보여줍니다. 이는 도구의 기능이 더욱 복잡해지고 다양한 입력을 처리할 수 있도록 개선되었음을 시각적으로 보여주는 것입니다. 개선 전과 후의 자료형 분포 차이를 통해 도구 문서 개선 과정의 효과를 명확하게 파악할 수 있습니다.

read the caption

Figure 5: Distribution of tool parameter types before and after document refinement.

🔼 ToolHop 데이터셋의 두 번째 원자적 하위 질문과 최종 답변에 대한 답변 유형 분포를 보여주는 그림입니다. 그림은 다양한 유형의 답변(예: 숫자, 날짜, 문자열, 개체 등)이 ToolHop 데이터셋에 얼마나 다양하게 포함되어 있는지를 시각적으로 보여줍니다. 이는 ToolHop 데이터셋이 다양한 유형의 질문과 답변을 포괄함으로써, 다양한 종류의 멀티홉 툴 사용 시나리오를 평가하는 데 적합함을 나타냅니다.

read the caption

Figure 6: Distribution of answer types for the second atomic subquery and final answers in ToolHop.

🔼 그림 7은 Qwen2.5 계열의 대규모 언어 모델(LLM)이 필수 도구 사용 시나리오에서 병렬 도구 호출을 사용하는 경향이 있음을 보여줍니다. 이는 잘못된 답변을 초래할 수 있는 환각(hallucination)으로 이어질 수 있습니다. 이 그림은 Qwen2.5-Instruct-32B 모델이 하나의 질문에 여러 도구를 동시에 호출하려고 시도하는 과정을 보여줍니다. 각 도구 호출은 서로 의존적이며, 하나의 도구 결과가 다른 도구의 입력으로 사용됩니다. 그러나 병렬 처리로 인해 각 도구가 독립적으로 실행되어 예상치 못한 결과와 부정확한 최종 답변이 발생할 수 있습니다. 이를 통해 병렬 도구 호출 전략의 한계를 보여주며, LLM이 다단계 도구 사용 시나리오에서 효율성과 정확성 사이의 균형을 맞추는 데 어려움을 겪는다는 것을 시사합니다.

read the caption

Figure 7: The Qwen2.5 family of LLMs emphasizes parallel tool calls in the mandatory tool use scenario, which can lead to hallucinations and incorrect answers.

🔼 그림 8은 Claude 3.5 계열의 대규모 언어 모델(LLM)이 직접적인 답변 시나리오에서 사고 연쇄(CoT) 추론을 최적화하여 분석 및 문제 해결 능력을 향상시키는 것을 보여줍니다. 즉, 도구를 사용하지 않고 주어진 질문에 대해 모델이 스스로 추론하고 답을 도출하는 능력을 평가하는 것입니다. 이 그림은 Claude 3.5 모델이 단계별 추론 과정을 통해 복잡한 문제를 효과적으로 해결하는 능력을 시각적으로 보여주는 예시를 포함하고 있을 것으로 예상됩니다. 이를 통해 CoT 추론 전략이 모델의 성능 향상에 미치는 영향을 효과적으로 보여줍니다.

read the caption

Figure 8: The Claude 3.5 family of LLMs optimizes CoT reasoning in the direct answer scenario, enhancing their analytical and problem-solving capabilities.'

🔼 그림 9는 GPT 계열의 대규모 언어 모델(LLM)이 상세한 도구 피드백을 사용하여 도구 호출 동작을 개선함으로써 성능을 향상시키는 과정을 보여줍니다. LLM이 도구를 사용하는 방식을 단계별로 보여주는 예시로, 도구 호출 시 발생하는 에러를 상세한 피드백을 통해 수정하고, 결과적으로 질의에 대한 정확한 답변을 도출하는 과정을 시각적으로 제시합니다. 이는 단순히 도구를 사용하는 것 이상으로, LLM이 피드백을 통해 학습하고 오류를 수정하며 더욱 정교한 작업을 수행할 수 있음을 보여주는 중요한 예시입니다.

read the caption

Figure 9: The GPT family of LLMs improves performance by refining calling behavior through the use of detailed tool feedback.

🔼 그림 10은 GPT 계열의 대규모 언어 모델(LLM)이 최소한의 피드백만 제공받았을 때, 잘못된 툴 호출 동작을 수정하는 데 어려움을 겪는다는 것을 보여줍니다. GPT 모델은 툴을 호출하는 과정에서 오류가 발생했을 때, 자세한 피드백이 없으면 올바른 결과를 얻기 위한 호출 동작을 수정하지 못하고, 잘못된 답변을 생성하는 경향을 보입니다. 이는 LLM이 툴 사용에 대한 충분한 이해와 적절한 오류 처리 능력을 갖추지 못했음을 시사합니다.

read the caption

Figure 10: The GPT fmaily of LLMs struggles to correct their calling behavior when provided with minimal feedback.

🔼 표 2는 문서 개선 전후에 필요한 매개변수의 수 분포를 보여줍니다. 문서 개선 과정을 거치면서 각 도구에 필요한 매개변수의 수가 어떻게 변화하는지 보여주는 표입니다. ‘Refinement’ 열은 문서 개선 단계를 나타내고, ‘Zero’, ‘One’, ‘Two’, ‘Three’, ‘Four’ 열은 각각 매개변수 개수가 0개, 1개, 2개, 3개, 4개 이상인 도구의 수를 나타냅니다. ‘Before’ 행은 문서 개선 전의 분포를, ‘After’ 행은 문서 개선 후의 분포를 보여줍니다. 이 표를 통해 문서 개선이 도구의 복잡성과 세련성을 높이는 데 어떤 영향을 미치는지 확인할 수 있습니다.

read the caption

Table 2: Distribution of the number of required parameters before and after document refinement.

🔼 본 표는 도구 매개변수 유형의 분포를 세분화하여 보여줍니다. 도구 개선 전과 후의 필수 매개변수의 유형별 개수를 비교 분석하여 도구 개선 과정에서 매개변수의 유형과 수에 어떤 변화가 있었는지 보여줍니다. 이는 모델의 도구 사용 능력 평가에 있어서 도구의 복잡성 변화를 이해하는 데 도움이 됩니다.

read the caption

Table 3: Distribution of required tool parameter types before and after refinement.

🔼 표 4는 다양한 대규모 언어 모델(LLM)의 ToolHop 데이터셋 성능을 보여줍니다. 세 가지 시나리오(직접 답변, 필수 도구 사용, 자유 선택)에서 모델의 정답률과 도구 호출 오류율을 비교 분석합니다. ‘쿼리’와 ‘인스턴스’는 각각 오류가 발생한 쿼리와 도구 호출의 비율을 나타냅니다. 평균값보다 높은 값은 청록색으로, 낮은 값은 갈색으로 강조 표시되어 있으며, 음영의 농도는 평균값과의 차이를 나타냅니다.

read the caption

Table 4: Performance of various LLMs on ToolHop, including answer correctness and invocation error. ‘Direct,’ ‘Mandatory,’ and ‘Free’ denote the direct answer, mandatory tool use, and free choice scenarios, respectively. ‘Query’ and ‘Instance’ refer to the percentage of queries and tool invocation instances with errors, respectively. ‘Avg.’ represents the average across all LLMs. Values above the average are highlighted in teal, and those below are highlighted in maroon, with darker shades indicating larger deviations.

🔼 표 5는 GPT 계열 모델의 호출 오류가 포함된 질문에 대한 답변 정확도를 보여줍니다. ‘피드백 있음’과 ‘피드백 없음’은 각각 자세한 피드백 또는 간단한 오류 보고서가 제공된 경우를 나타냅니다. ΔC→I는 자세한 피드백에서 간단한 오류 보고서로 전환할 때 정답이 오답으로 변하는 비율을 나타내고, ΔI→C는 오답이 정답으로 변하는 비율을 나타냅니다.

read the caption

Table 5: Answer correctness of the GPT family of models in queries containing invocation error. ‘w/ Feedback’ and ‘w/o Feedback’ represent cases where detailed feedback or only simple error reporting is provided, respectively. ‘𝚫𝐂→𝐈subscript𝚫→𝐂𝐈\mathbf{\Delta_{C\to I}}bold_Δ start_POSTSUBSCRIPT bold_C → bold_I end_POSTSUBSCRIPT’ denotes the proportion of correct answers that become incorrect, while ‘𝚫𝐈→𝐂subscript𝚫→𝐈𝐂\mathbf{\Delta_{I\to C}}bold_Δ start_POSTSUBSCRIPT bold_I → bold_C end_POSTSUBSCRIPT’ represents the proportion of incorrect answers that become correct, when transitioning from detailed feedback to simple error reporting.

🔼 표 6는 툴 생성을 위한 프롬프트를 보여줍니다. ‘{Example}‘은 예시를, ‘{Question}‘은 하위 질의를 각각 나타냅니다. 본질적으로 이 표는 대규모 언어 모델(LLM)이 다중 단계 툴 사용 과제를 수행하기 위해 필요한 툴을 생성하는 데 사용된 지침을 설명합니다. 이 지침에는 문제 분석, 툴 설계, 매개변수 명세, 출력 구성 등의 단계가 포함됩니다. 각 단계는 LLM이 툴을 효과적으로 설계하고 생성하는 데 필요한 구체적인 지침을 제공합니다.

read the caption

Table 6: The prompt for tool creation, where ‘{Example}’ and ‘{Question}’ represent the example and subquery, respectively.

🔼 표 7은 논문의 2.2절인 ‘Query-Driven Data Construction’ 섹션에 포함된 표입니다. 이 표는 쿼리 기반 데이터 구성 방식에서 도구 문서를 개선하는 과정에 사용되는 프롬프트(지시어)를 보여줍니다. 프롬프트는 초기 단계에서 생성된 도구 문서({Tool})를 입력으로 받아, 도구의 설명을 개선하고, 매개변수의 복잡성을 높이는 것을 목표로 합니다. 즉, 초기 도구의 기능과 호환성을 유지하면서 더욱 세련되고, 다양한 상황에 적용 가능한 도구 문서를 만들기 위한 지시사항을 담고 있습니다.

read the caption

Table 7: The prompt for document refinement, where ‘{Tool}’ represents the preliminary document.

🔼 표 8은 코드 생성을 위한 프롬프트를 보여줍니다. 여기서 {document}는 다듬어진 문서, {question}은 하위 질문, {answer}는 해당하는 답변을 각각 나타냅니다. 이 표는 논문의 2.2절 ‘Query-Driven Data Construction’ 에서 다루어지는 질의 중심 데이터 생성 과정에서 사용되는 프롬프트를 설명합니다. GPT-40과 같은 대규모 언어모델이 질문과 다듬어진 문서, 그리고 정답을 바탕으로 실제 실행 가능한 코드를 생성할 수 있도록 안내하는 프롬프트의 구조와 내용을 보여줍니다.

read the caption

Table 8: The prompt for code generation, where ‘{document}’, ‘{question}’ and ‘{answer}’ represent the refined document, the subquery and the corresponding answer, respectively.

| Notes | - Ensure the domain is specific and directly related to the main subject of the sentence. <br> - Consider the broader context if the sentence includes specific names or events. |
| Sentence | {sentence} |

🔼 표 9는 도메인 분류를 위한 프롬프트를 보여줍니다. 여기서 {sentence}는 다단계 질의를 나타냅니다. 이 프롬프트는 GPT-40을 사용하여 ToolHop 데이터셋 내 질의의 도메인을 분류하기 위해 사용됩니다. 프롬프트는 문장의 내용과 문맥을 분석하고, 주요 요소를 파악하여, 문장의 주제를 가장 잘 나타내는 단일 도메인을 식별하는 단계들을 포함합니다. 출력 형식은 분석 결과와 도메인을 포함하는 JSON 객체입니다.

read the caption

Table 9: The prompt for domain classification, where ‘{sentence}’ represents the multi-hop query.