May, 2024

CALRec：生成式 LLM 的对比对齐在顺序推荐中的应用

PDF
TL;DR传统推荐系统如矩阵分解方法依赖于学习一个共享的稠密嵌入空间来表示物品和用户偏好。最近，序列模型如 RNN、GRU 和 Transformer 在序列推荐任务中也表现出色。研究人员最近开始探索使用在大量文本语料库上预训练的大型语言模型（LLMs）进行序列推荐。为了在序列推荐中使用 LLMs，用户交互的历史记录和模型预测的下一个物品都以文本形式表示。我们提出了 CALRec，一个两阶段的 LLM 微调框架，它使用两种对比损失和语言建模损失在两个塔式结构中微调预训练的 LLM：首先在多个领域的数据混合上微调 LLM，然后进行目标领域的微调。我们的模型显著优于许多最先进的对比方法（在 Recall@1 上增长 37%，在 NDCG@10 上增长 24%），系统的消融研究揭示了（i）两个微调阶段都是至关重要的，在结合起来时我们可以获得更好的性能，以及（ii）目标领域中的对比对齐在我们的实验中是有效的。
发现论文，激发创造
  • LlamaRec：利用大型语言模型进行两阶段推荐排序

    最近，大型语言模型 (LLMs) 在语言理解和生成方面取得了显著的进展，通过利用文本特征，定制 LLMs 也被应用于推荐，并在各种推荐场景中展示出改进。为了验证所提出框架的有效性，在基准数据集上与最先进的基线方法进行比较，我们的实验结果证明了 LlamaRec 的性能，在推荐性能和效率方面都取得了卓越的表现。

    Oct, 2023

  • GenRec: 大型生成式推荐模型

    使用大型语言模型 (LLM) 为基础的生成式推荐 (GenRec) 方法，通过解释上下文、学习用户偏好和生成相关推荐，充分利用大型语言模型编码的丰富知识，为推荐系统带来革命性的潜力和未来发展方向。

    Jul, 2023

  • 大型语言模型与协同过滤相遇：一种高效全能基于 LLM 的推荐系统

    提出了一种高效的全方位基于语言模型的推荐系统，能够在冷和热场景下表现出卓越的性能，并利用协同知识和高质量用户 / 物品嵌入来生成自然语言输出。

    Apr, 2024

  • LLMRec：在推荐任务上对大规模语言模型进行基准测试

    通过 LLMRec，我们对各种推荐任务对多个常用的 LLM 模型进行了基准测试，发现 LLM 模型在准确性任务中表现中等，但在可解释性任务中与最先进的方法相比具有相当的性能，并通过定性评估进一步验证了生成内容的质量和合理性。

    Aug, 2023

  • SLMRec: 增强小型语言模型在顺序推荐任务中的能力

    本文通过在大规模行业数据集上进行广泛实验，发现大多数 LLMs 的中间层是多余的，并提出了一种名为 SLMRec 的基于小型语言模型的推荐模型，仅使用 LLM-based 推荐模型中 13% 的参数，同时在训练和推断时间成本上实现了高达 6.6 倍和 8.0 倍的加速。

    May, 2024

  • 大型语言模型的可控推荐

    通过引入监督学习任务和基于强化学习的对齐过程，本研究明显提升了大型语言模型在推荐系统中遵循指示并保持高精度性能的能力。

    Mar, 2024

  • 利用大型语言模型进行推荐的表示学习

    通过整合大型语言模型与推荐系统的表示学习，我们提出了一个模型不可知的框架 RLMRec，旨在增强现有的推荐器，并提高其对于用户行为和偏好的语义理解，同时通过交叉视角对齐框架，将 LLM 的语义空间与协同关系信号的表示空间相对应。

    Oct, 2023

  • 序列推荐的对比学习

    提出了一种用于顺序推荐的对比学习多任务模型 CL4SRec，在传统的下一个项目预测任务的基础上，从原始用户行为序列中提取更有意义的用户模式，并进一步有效地编码用户表示，通过构建自我监督信号和数据增强等手段，来解决数据稀疏性和参数优化问题，并在四个公共数据集上实现了业界领先的性能。

    Oct, 2020

  • 大语言模型时代的推荐系统

    本论文对基于大型语言模型（LLMs）的推荐系统进行了全面综述，总结了 LLMs 在推荐系统中的应用方法，包括预训练、微调和提示，并讨论了未来方向。

    Jul, 2023

  • 基于图卷积的大型语言模型用于推荐

    利用大型语言模型来改进描述文本的办法受到了研究者的关注，本论文提出了一种基于图卷积的大型语言模型方法，通过捕捉用户 - 物品图中的高阶关系来改进描述文本。在真实世界的数据集上进行了广泛的实验，结果表明我们的方法始终优于现有的最先进方法。

    Feb, 2024