Oct, 2023

LightLM: 一种适用于生成推荐的轻量级深度和窄语言模型

PDF
TL;DRLightLM 是一种轻量级的基于 Transformer 的语言模型，用于生成推荐。通过引入轻量级、深而窄的 Transformer 架构，并结合 Spectral Collaborative Indexing 和 Graph Collaborative Indexing 等方法，实现了对生成推荐任务的更好性能。
lightlmgenerative recommendationtransformer architecturerecommendation accuracyefficiency
发现论文，激发创造
  • 大型语言模型用于生成式推荐：调研与前瞻讨论

    近年来，大型语言模型在不同领域特别是自然语言处理和计算机视觉中得到广泛应用，推荐系统也出现了这种趋势。这篇综述论文从三个问题的角度探讨了基于大型语言模型的生成式推荐的进展、方法和未来方向：1）什么是生成式推荐，2）为什么推荐系统应该向生成式推荐发展，以及 3）如何为各种推荐系统任务实现基于大型语言模型的生成式推荐。希望这篇综述可以提供探索这一有趣且新兴话题所需的背景和指导。

    Sep, 2023

  • GenRec: 大型生成式推荐模型

    使用大型语言模型 (LLM) 为基础的生成式推荐 (GenRec) 方法，通过解释上下文、学习用户偏好和生成相关推荐，充分利用大型语言模型编码的丰富知识，为推荐系统带来革命性的潜力和未来发展方向。

    Jul, 2023

  • 推荐系统中的大型语言模型调查

    本文概论了基于大型语言模型的推荐系统，提出了两种主要类型（分别为判别型 LLM 推荐 DLLM4Rec 和生成型 LLM 推荐 GLLM4Rec），分别从方法、技术和性能等方面对现有的 LLM 推荐系统进行了系统的分类和评估，并指出了主要挑战和有价值的发现。

    May, 2023

  • LLMRec：在推荐任务上对大规模语言模型进行基准测试

    通过 LLMRec，我们对各种推荐任务对多个常用的 LLM 模型进行了基准测试，发现 LLM 模型在准确性任务中表现中等，但在可解释性任务中与最先进的方法相比具有相当的性能，并通过定性评估进一步验证了生成内容的质量和合理性。

    Aug, 2023

  • LLM-RecSys 文本 ID 学习对准

    通过 IDGen 方法将每个项目表示为独特、简洁、语义丰富、与平台无关的文本 ID，并通过基于 LLM 的推荐系统和文本 ID 生成器的协同训练，无缝地将个性化推荐融入自然语言生成，从而建立了一个基础生成推荐模型。实验结果表明，该方法在标准实验设置下在序列推荐方面始终优于现有模型，并且该方法在从 19 个不同数据集中收集的数据上进行零 - shot 训练后，在 6 个不同平台上的未见数据集上的推荐性能与一些基于监督训练的传统推荐模型相当甚至更好，展示了 IDGen 模式作为生成推荐基础模型的潜力。

    Mar, 2024

  • 大语言模型时代的推荐系统

    本论文对基于大型语言模型（LLMs）的推荐系统进行了全面综述，总结了 LLMs 在推荐系统中的应用方法，包括预训练、微调和提示，并讨论了未来方向。

    Jul, 2023

  • 利用大型语言模型进行推荐的表示学习

    通过整合大型语言模型与推荐系统的表示学习，我们提出了一个模型不可知的框架 RLMRec，旨在增强现有的推荐器，并提高其对于用户行为和偏好的语义理解，同时通过交叉视角对齐框架，将 LLM 的语义空间与协同关系信号的表示空间相对应。

    Oct, 2023

  • 使用预训练的大型语言模型进行零样本下一项推荐

    研究发现，使用 Zero-Shot Next-Item Recommendation (NIR) 方法可以使 GPT-3 模型在没有用户历史交互记录信息的情况下，成功地推荐电影，且在电影推荐方面，它甚至可以胜过一些训练有素的顺序推荐模型。

    Apr, 2023

  • 巨型语言模型增强少样本推荐系统的表示能力

    利用大型语言模型（LLMs）处理明确反馈可以提高推荐系统在少样本场景中的性能。LLMs 具备生成和逻辑推理能力，能够有效处理明确反馈，成为增强推荐系统性能的组成部分。

    Dec, 2023

  • 大型语言模型与机器学习在电子商务推荐中的新兴协同效应

    电子商务和网络应用的蓬勃发展使得推荐系统成为我们日常生活中重要的一部分，但是现有基于深度神经网络的方法在理解用户兴趣、捕捉文本信息以及推广到不同场景等方面仍存在限制。近期的研究借助大型语言模型的崛起旨在改进推荐系统，本文系统回顾了已有的大型语言模型驱动的推荐系统，介绍了使用大型语言模型作为特征编码器学习用户和物品表示的方法以及在预训练、微调和提示等三个范式下的最新进展，并对这一新兴领域的未来方向进行了全面的讨论。

    Mar, 2024