Molar: Multimodal LLMs with Collaborative Filtering Alignment for Enhanced Sequential Recommendation

🔼 그림 2는 Molar 프레임워크의 작동 방식을 보여줍니다. 먼저, 다양한 모달리티(텍스트, 이미지 등)의 아이템 정보를 처리하는 다중 모달 아이템 표현 모델(MIRM)이 아이템 임베딩을 생성합니다. 사용자의 과거 상호작용 기록을 기반으로 동적인 사용자 임베딩 생성기(DUEG)가 사용자 임베딩을 모델링하여 다음 아이템 예측에 사용합니다. MIRM은 다중 모달 특징 정렬을 위해 미세 조정되고, 최적화 프레임워크는 ID 기반 및 콘텐츠 기반 사용자 임베딩을 대조 학습 메커니즘을 사용하여 통합하여 추천 성능을 향상시킵니다.

read the caption

Figure 2: Illustration of the Molar framework. The Multimodal Item Representation Model (MIRM) processes multimodal item information to generate item embeddings, while the Dynamic User Embedding Generator (DUEG) models user embeddings based on interaction histories for next-item prediction. First, MIRM is fine-tuned for multimodal feature alignment. Then, a joint optimization framework integrates ID-based and content-based user embeddings using a contrastive learning mechanism to enhance recommendation performance.

🔼 이 그림은 다양한 동적 사용자 임베딩 생성기(DUEG)의 성능을 비교한 것입니다. 모든 경우에 대해 MIRM(다중 모달 항목 표현 모델)으로 Qwen2vl-2b가 사용되었습니다. 그림은 LLM 백본 DUEG가 기존의 DUEG보다 성능이 우수함을 보여줍니다. 이는 LLM 기반의 DUEG가 사용자의 선호도를 더욱 효과적으로 모델링하고 예측할 수 있음을 시사합니다.

read the caption

Figure 3: Performance comparison of different DUEGs. Qwen2vl-2b is used as MIRM for all. The LLM backbone DUEG outperforms traditional DUEGs.

🔼 표 2는 제안된 Molar 모델과 여러 기준 모델들의 성능을 비교 분석한 결과를 보여줍니다. 밑줄 친 값은 각 지표(NDCG@10, NDCG@20, Recall@10, Recall@20)에서 가장 높은 성능과 두 번째로 높은 성능을 나타냅니다. N과 R은 각각 정규화된 할인 누적 이득(Normalized Discounted Cumulative Gain)과 재현율(Recall)을 나타내며, * 표시는 p-값이 0.05보다 훨씬 작다는 것을 의미하여 통계적으로 유의미한 성능 향상을 나타냅니다. 전반적으로 Molar는 모든 데이터셋에서 일관되게 우수한 성능을 달성하여 다중 모드 및 협업 필터링 기능을 활용한 효과를 보여줍니다.

read the caption

Table 2: Performance comparison of Molar with baseline models. The underlined values indicate the best and second-best results across all models. The abbreviations N and R represent Normalized Discounted Cumulative Gain (NDCG) and Recall, respectively. Statistically significant improvements are marked with * (p𝑝pitalic_p-value <<0.05much-less-thanabsent0.05<<0.05< < 0.05). Overall, Molar consistently achieves superior performance across all datasets, demonstrating its effectiveness in leveraging multimodal and collaborative filtering features.

🔼 표 3은 다양한 모달리티 입력(이미지 전용, 텍스트 전용, 이미지+텍스트)을 사용한 순차적 추천 작업에 대한 성능 비교를 보여줍니다. 결과는 이미지와 텍스트를 결합한 모달리티가 모든 평가 지표에서 가장 우수한 성능을 달성함을 보여주어, 다중 모달리티 통합의 이점을 강조합니다. 이 표는 다양한 입력 유형(이미지 전용, 텍스트 전용, 이미지와 텍스트 결합)을 사용하여 순차적 추천 모델의 성능 차이를 정량적으로 분석하고, 다중 모달 정보 활용의 효과를 보여줍니다. 특히 이미지와 텍스트를 함께 사용했을 때 성능이 가장 좋았다는 점이 주요 결과이며, 이는 다양한 정보원을 활용한 다중 모달리티 접근 방식이 순차적 추천 성능 향상에 효과적임을 시사합니다.

read the caption

Table 3: Performance comparison with different modality inputs. The table highlights the impact of using Image Only, Text Only, and Image + Text inputs for sequential recommendation tasks. The combined modality (Image + Text) consistently achieves the best performance across all evaluation metrics, demonstrating the advantage of multimodal integration.

🔼 표 4는 대조 학습을 위한 다양한 후처리 정렬 모델의 성능 비교를 보여줍니다. 결과는 더 강력한 순차적 모델이 더 나은 성능을 산출하며, 후처리 정렬의 이점을 보여줍니다. 이 표는 다양한 기존 순차 추천 모델(FPMC, GRU4Rec, SASRec, DuoRec)을 사용하여 콘텐츠 기반 사용자 임베딩과 ID 기반 사용자 임베딩 간의 정렬에 미치는 영향을 분석합니다. 각 모델은 후처리 정렬 메커니즘과 함께 사용되며, NDCG@10, NDCG@20, Recall@10, Recall@20 지표를 통해 성능이 평가됩니다. 이를 통해 후처리 정렬 기법이 순차 추천 모델의 성능 향상에 미치는 영향과 어떤 모델이 이 기법과 가장 잘 호환되는지 확인할 수 있습니다.

read the caption

Table 4: Performance comparison of different post-alignment models for contrastive learning. Results show that stronger sequential models yield better performance, demonstrating the benefits of post-alignment.

🔼 표 5는 PixelRec 데이터셋에 대한 ablation study 결과를 보여줍니다. Image-Text, Structured Attributes, User Behavior 세 가지 fine-tuning 데이터 구성 요소와 post-alignment 모듈의 영향을 평가했습니다. 결과는 세 가지 fine-tuning 구성 요소를 모두 사용했을 때 최적의 성능을 달성하지만, 하나라도 제거하면 성능이 저하됨을 보여줍니다. 또한 post-alignment 대조 학습 모듈은 높은 추천 정확도를 유지하는 데 중요한 역할을 합니다.

read the caption

Table 5: Ablation study on the PixelRec dataset. The table evaluates the impact of different fine-tuning data components (Image-Text, Structured Attributes, User Behavior) and the post-alignment module. Results demonstrate that using all fine-tuning components achieves optimal performance, while removing any single component degrades performance. The post-alignment contrastive learning module is shown to be critical for maintaining high recommendation accuracy.

🔼 표 6은 다양한 다중 모드 대규모 언어 모델(MLLM) 백본의 성능을 비교 분석한 결과를 보여줍니다. 실험은 세 가지 다른 MLLM 백본(Qwen2-VL-2B, InternVL2.5-2B, deepseek-vl-1.3b)과 두 가지 학습 방법(전체 미세 조정, LoRA)을 사용하여 수행되었습니다. 각 MLLM 백본에 대해 NDCG@10, NDCG@20, Recall@10, Recall@20 지표를 측정하여 성능을 비교하였습니다. 결과적으로 모델 크기와 백본의 종류 모두가 성능에 영향을 미치는 것을 확인할 수 있습니다.

read the caption

Table 6: Comparison of Different MLLM Backbone.