大型语言模型驱动的序列推荐嵌入生成器
本文概论了基于大型语言模型的推荐系统,提出了两种主要类型(分别为判别型 LLM 推荐 DLLM4Rec 和生成型 LLM 推荐 GLLM4Rec),分别从方法、技术和性能等方面对现有的 LLM 推荐系统进行了系统的分类和评估,并指出了主要挑战和有价值的发现。
May, 2023
本文综述了基于应用方向的大语言模型在推荐系统中的应用,从‘何处’和‘如何’两方面总结了现有研究工作,并讨论了调整大语言模型到推荐系统中面临的关键挑战和未来前景。
Jun, 2023
近年来,大型语言模型在不同领域特别是自然语言处理和计算机视觉中得到广泛应用,推荐系统也出现了这种趋势。这篇综述论文从三个问题的角度探讨了基于大型语言模型的生成式推荐的进展、方法和未来方向:1)什么是生成式推荐,2)为什么推荐系统应该向生成式推荐发展,以及3)如何为各种推荐系统任务实现基于大型语言模型的生成式推荐。希望这篇综述可以提供探索这一有趣且新兴话题所需的背景和指导。
Sep, 2023
利用大型语言模型(LLMs)处理明确反馈可以提高推荐系统在少样本场景中的性能。LLMs具备生成和逻辑推理能力,能够有效处理明确反馈,成为增强推荐系统性能的组成部分。
Dec, 2023
电子商务和网络应用的蓬勃发展使得推荐系统成为我们日常生活中重要的一部分,但是现有基于深度神经网络的方法在理解用户兴趣、捕捉文本信息以及推广到不同场景等方面仍存在限制。近期的研究借助大型语言模型的崛起旨在改进推荐系统,本文系统回顾了已有的大型语言模型驱动的推荐系统,介绍了使用大型语言模型作为特征编码器学习用户和物品表示的方法以及在预训练、微调和提示等三个范式下的最新进展,并对这一新兴领域的未来方向进行了全面的讨论。
Mar, 2024
提出了一种高效的全方位基于语言模型的推荐系统,能够在冷和热场景下表现出卓越的性能,并利用协同知识和高质量用户/物品嵌入来生成自然语言输出。
Apr, 2024
传统推荐系统如矩阵分解方法依赖于学习一个共享的稠密嵌入空间来表示物品和用户偏好。最近,序列模型如RNN、GRU和Transformer在序列推荐任务中也表现出色。研究人员最近开始探索使用在大量文本语料库上预训练的大型语言模型(LLMs)进行序列推荐。为了在序列推荐中使用LLMs,用户交互的历史记录和模型预测的下一个物品都以文本形式表示。我们提出了CALRec,一个两阶段的LLM微调框架,它使用两种对比损失和语言建模损失在两个塔式结构中微调预训练的LLM:首先在多个领域的数据混合上微调LLM,然后进行目标领域的微调。我们的模型显著优于许多最先进的对比方法(在Recall@1上增长37%,在NDCG@10上增长24%),系统的消融研究揭示了(i)两个微调阶段都是至关重要的,在结合起来时我们可以获得更好的性能,以及(ii)目标领域中的对比对齐在我们的实验中是有效的。
May, 2024
研究通过引入大型语言模型增强顺序推荐系统的性能,以应对长尾用户和长尾商品的挑战,并提出了融合语义信息和协同信号的双视图建模方法来解决这些问题。同时,通过使用检索增强的自蒸馏技术,对用户偏好表示进行改进。实验证明,所提出的增强框架相比现有方法表现更优。
May, 2024
本研究针对现有基于大型语言模型的推荐系统忽略或低效建模用户-项目高阶交互的问题,提出了增强型推荐模型ELMRec。该模型通过增强整体词嵌入来显著提升对图构建交互的理解,并提出了一种重新排序解决方案,使得ELMRec在直接推荐和序列推荐中均超越了最先进的方法。
Sep, 2024