Personalized Graph-Based Retrieval for Large Language Models

🔼 그림 2는 아마존 사용자-제품 데이터셋의 사용자 프로필 분포를 보여줍니다. 대부분의 사용자가 소수의 리뷰만 가지고 있는 작은 프로필 크기를 가지고 있음을 강조합니다. 빨간색 수직선은 LaMP, LongLaMP 와 같은 다른 벤치마크에서의 최소 프로필 크기를 나타냅니다. 즉, 기존의 개인화된 LLM 벤치마크들은 충분한 프로필 크기를 가진 사용자 데이터만을 사용했기 때문에, 사용자 데이터가 부족한 상황(cold-start)에서는 개인화된 결과를 생성하는 데 어려움이 있음을 시사합니다.

read the caption

Figure 2: The user profile distribution for Amazon user-product dataset which highlights how most users have a small profile size with few reviews. The red vertical line marks the minimum profile size in other benchmarks (e.g., LaMP, LongLaMP).

🔼 그림 3은 본 논문에서 제안된 PGraphRAG 프레임워크의 성능을 평가하기 위해 사용된 두 가지 언어 모델, GPT-4o-mini 와 GPT-01의 성능을 다양한 데이터셋과 평가 지표(ROUGE-1, ROUGE-L, METEOR)를 통해 비교 분석한 결과를 보여줍니다. 각 데이터셋은 서로 다른 특징을 가진 장문 텍스트 생성 작업에 해당하며, 두 모델의 성능 차이를 각 데이터셋과 평가 지표별로 자세하게 비교하여, 어떤 모델이 어떤 상황에서 더 우수한 성능을 보이는지 보여줍니다. 이를 통해 GPT-4o-mini와 GPT-01의 장단점을 장문 텍스트 생성 작업에 대해 명확하게 파악할 수 있습니다.

read the caption

Figure 3: Comparison of GPT-4o-mini and GPT-o1 performance across all datasets and metrics for the long-text generation task.

🔼 그림 4는 PGraphRAG을 사용하여 짧은 텍스트 생성 작업에 대한 길이 제약 조건(3, 5, 10 단어)의 영향을 검증한 결과를 보여줍니다. 검증 세트에서 평가된 ROUGE-1, ROUGE-L, METEOR 세 가지 지표를 사용하여 짧은 텍스트 생성 작업에 대한 다양한 길이 제약 조건의 효과를 보여줍니다. 각 지표는 길이 제약 조건의 변화에 따른 성능 변화를 보여주는 막대 그래프로 표현됩니다.

read the caption

Figure 4: Impact of length constraints of 3, 5, and 10 on short-text generation tasks using PGraphRAG, evaluated on the validation set.

🔼 그림 5는 PGraphRAG에서 각 작업 유형에 사용된 다양한 프롬프트 구성의 예시를 보여줍니다. 프롬프트는 사용자의 리뷰와 같은 컨텍스트 정보를 포함합니다. 긴 텍스트 생성 작업(Task 1-4)의 경우, 사용자와 다른 사용자의 리뷰가 프롬프트에 포함되고 사용자의 리뷰 제목을 바탕으로 새로운 리뷰를 생성하도록 합니다. 짧은 텍스트 생성 작업(Task 5-8)의 경우, 사용자와 다른 사용자의 리뷰를 바탕으로 리뷰 제목을 생성하도록 합니다. 순위 분류 작업(Task 9-12)의 경우, 사용자와 다른 사용자의 리뷰를 바탕으로 리뷰 제목과 내용에 기반하여 1~5의 정수 등급을 생성하도록 합니다. 각 작업에 대해 실제 데이터로 대체된 텔레타이프 텍스트가 표시됩니다.

read the caption

Figure 5: Examples of different prompt configurations used in each task type for PGraphRAG. Teletype text is replaced with realistic data for each task.

🔼 이 표는 논문에서 사용된 개인화된 작업에 사용된 데이터셋의 그래프 통계를 보여줍니다. 특히 사용자 수, 아이템 수, 간선(리뷰) 수, 그리고 각 데이터셋(사용자-제품 그래프, 다국어 제품 그래프, 스타일리쉬 피드백 그래프, 호텔 경험 그래프)의 평균 차수를 제공합니다. 이 정보는 각 데이터셋의 크기와 연결성을 이해하는 데 도움이 됩니다.

read the caption

Table 2: Graph statistics for the datasets used in the personalized tasks. The table provides the number of users, items, edges (reviews), and the average degree for each dataset: User-Product Graph, Multilingual Product Graph, Stylized Feedback Graph, and Hotel Experiences Graph.

🔼 이 표는 논문의 데이터셋 분할에 대한 정보를 보여줍니다. User-Product Review, Multilingual Product Review, Stylized Feedback, Hotel Experiences 네 가지 데이터셋에 대해 학습, 검증, 테스트 세트의 크기를 보여줍니다. 각 데이터셋은 사용자 리뷰의 크기 분포를 유지하기 위해 계층화된 샘플링을 사용하여 분할되었습니다. 이를 통해 각 세트에서 사용자의 리뷰 크기 분포가 원본 데이터셋의 분포와 일치하도록 합니다.

read the caption

Table 3: Dataset split sizes for training, validation, and testing across four datasets: User-Product Review, Multilingual Product Review, Stylized Feedback, and Hotel Experiences.

🔼 표 4는 LLaMA-3.1-8B 모델을 사용하여 긴 텍스트 생성 작업에 대한 제로샷 테스트 결과를 보여줍니다. 표에는 사용자 제품 리뷰 생성, 호텔 경험 생성, 스타일리쉬한 피드백 생성, 다국어 제품 리뷰 생성 등 네 가지 작업에 대한 ROUGE-1, ROUGE-L, METEOR 평가 지표 점수가 포함되어 있습니다. 검색기와 k(검색 결과 개수)는 검증 세트를 사용하여 조정되었습니다. 이 표는 모델의 성능을 평가하는 데 사용된 다양한 지표와 함께 각 작업에 대한 모델의 성능을 보여줍니다.

read the caption

Table 4: Zero-shot test set results for long text generation using LLaMA-3.1-8B. The choice of retriever and k𝑘kitalic_k were tuned using the validation set.

🔼 표 5는 GPT-4o-mini 모델을 사용하여 긴 텍스트 생성 작업에 대해 수행된 제로샷 테스트 결과를 보여줍니다. 각 작업에 대해, 사용된 검색 모델(BM25 또는 Contriever)과 검색된 컨텍스트의 개수(k)는 검증 세트를 사용하여 미세 조정되었습니다. 즉, 최적의 성능을 내는 검색 모델과 컨텍스트의 개수를 검증 세트에서 먼저 찾고, 그렇게 찾은 최적의 설정을 사용하여 테스트 세트에서 성능을 평가했다는 의미입니다. 표에는 ROUGE-1, ROUGE-L, METEOR 세 가지 지표를 사용하여 각 작업에 대한 성능이 제시되어 있습니다.

read the caption

Table 5: Zero-shot test set results for long text generation using GPT-4o-mini. The choice of retriever and k𝑘kitalic_k were tuned using the validation set.

🔼 표 6은 LLaMA-3.1-8B 모델을 사용하여 단문 생성 작업에 대해 제로샷 설정에서 수행한 테스트 결과를 보여줍니다. 이 표에는 사용자 제품 리뷰 제목 생성, 호텔 경험 요약 생성, 스타일리쉬한 피드백 제목 생성, 다국어 제품 리뷰 제목 생성 등 네 가지 단문 생성 작업에 대한 ROUGE-1, ROUGE-L, METEOR 지표가 포함되어 있습니다. 검색기와 k (검색된 컨텍스트 항목 수)는 검증 세트를 사용하여 조정되었습니다. 즉, 모델이 훈련 데이터를 보지 않고 테스트 데이터에 대한 성능을 평가한 결과입니다.

read the caption

Table 6: Zero-shot test set results for short text generation using LLaMA-3.1-8B. The choice of retriever and k𝑘kitalic_k were tuned using the validation set.

🔼 표 7은 GPT-40-mini 모델을 사용하여 단문 생성 작업에 대한 제로샷 테스트 결과를 보여줍니다. 이 표는 사용자 제품 리뷰 제목 생성, 호텔 경험 요약 생성, 스타일리쉬한 피드백 제목 생성, 다국어 제품 리뷰 제목 생성 등 네 가지 단문 생성 작업에 대한 성능을 보여줍니다. 각 작업마다 ROUGE-1, ROUGE-L, METEOR 세 가지 지표를 사용하여 모델의 성능을 평가하였으며, 검증 집합을 사용하여 검색기와 k 값을 조정했습니다. 이 표를 통해 제로샷 설정에서 GPT-40-mini 모델의 단문 생성 성능을 다양한 작업에 걸쳐 비교 분석할 수 있습니다.

read the caption

Table 7: Zero-shot test set results for short text generation using GPT-4o-mini. The choice of retriever and k𝑘kitalic_k were tuned using the validation set.

🔼 표 8은 LLaMA-3.1-8B-Instruct 모델을 사용하여 BM25 기반으로 9번부터 12번까지의 순서형 분류 작업에 대한 제로샷 테스트 결과를 보여줍니다. MAE(평균 절대 오차)와 RMSE(제곱근 평균 제곱 오차) 지표를 사용하여 모델 성능을 평가했습니다. 각 작업에 대한 MAE와 RMSE 값은 모델의 예측 정확도를 나타냅니다. 낮은 MAE와 RMSE 값은 더 높은 예측 정확도를 의미합니다.

read the caption

Table 8: Zero-shot test set results on ordinal classification on Tasks 9-12 on BM25 using MAE and RMSE metrics for LLaMA-3.1-8B-Instruct .

🔼 표 9는 GPT-40-mini 모델을 사용하여 BM25 평가 지표를 기반으로 수행된 제로샷 방식의 순서형 분류 작업 결과를 보여줍니다. 표에는 사용자 제품 리뷰 평점(Task 9), 호텔 경험 평점(Task 10), 스타일리쉬한 피드백 평점(Task 11), 다국어 제품 평점(Task 12) 등 4가지 과제에 대한 평균 절대 오차(MAE)와 제곱근 평균 제곱 오차(RMSE)가 포함되어 있습니다. 이 결과들은 모델의 순서형 분류 성능을 평가하는 데 사용됩니다. 각 과제에 대한 MAE와 RMSE 값을 비교 분석하여 모델의 성능을 종합적으로 평가할 수 있습니다.

read the caption

Table 9: Zero-shot test set results on ordinal classification on Tasks 9-12 on BM25 using MAE and RMSE metrics for GPT-4o-mini .

🔼 표 10은 본 논문의 5장 실험에서 LLaMA-3.1-8B-Instruct 모델을 사용하여 긴 텍스트 생성 작업(1~4번 과제)에 대해 검증 세트에서 수행된 ablation study 결과를 보여줍니다. ablation study는 PGraphRAG의 다양한 변형(전체 PGraphRAG, 이웃만 사용하는 PGraphRAG, 사용자만 사용하는 PGraphRAG)의 성능을 비교 분석하여, 이웃 사용자의 정보를 포함하는 것이 모델 성능 향상에 얼마나 기여하는지 확인하기 위해 수행되었습니다. 각 변형별로 ROUGE-1, ROUGE-L, METEOR 지표 값을 제시하여 어떤 방식이 가장 효과적인지 비교합니다.

read the caption

Table 10: Ablation study results using LLaMA-3.1-8B-Instruct on the validation set for the long text generation Tasks 1 - 4.

🔼 표 11은 본 논문의 5장 실험 결과에서 GPT-4o-mini 모델을 사용하여 긴 텍스트 생성 작업(과제 1-4)에 대한 ablation study 결과를 보여줍니다. 각 과제에 대해 PGraphRAG, 이웃 노드 정보만 사용한 PGraphRAG(Neighbors Only), 사용자 정보만 사용한 PGraphRAG(User Only) 세 가지 방법의 ROUGE-1, ROUGE-L, METEOR 성능 지표 값을 비교 분석하여, 그래프 기반 검색의 효과와 이웃 노드 정보 활용의 중요성을 보여줍니다. Validation set 결과를 제시합니다.

read the caption

Table 11: Ablation study results using GPT-4o-mini on the validation set for long text generation tasks across Tasks 1-4.