Aug, 2024

基于生成扩散模型的增强序列推荐统一框架DimeRec

HTML
PDF
TL;DR本文解决了序列推荐中高质量推荐的难题，提出了一种新颖的DimeRec框架，它结合了指导提取模块和生成扩散聚合模块，旨在优化用户的历史交互信息。研究结果表明，DimeRec在多个公开数据集上显著超过了传统基线方法，并在一个大型短视频推荐平台上成功部署，为用户带来了更好的体验和结果多样性。
发现论文，激发创造
  • 面向生成推荐的个性化提示模型检索

    利用生成模型进行推荐系统和个性化问题的初步研究，提出了Prompt-Model检索和生成项排序的两阶段框架，并通过GEMRec-18K数据集展示了生成模型推荐的潜力和现有评估指标的局限性。

    Aug, 2023

  • 大型语言模型用于生成式推荐：调研与前瞻讨论

    近年来，大型语言模型在不同领域特别是自然语言处理和计算机视觉中得到广泛应用，推荐系统也出现了这种趋势。这篇综述论文从三个问题的角度探讨了基于大型语言模型的生成式推荐的进展、方法和未来方向：1）什么是生成式推荐，2）为什么推荐系统应该向生成式推荐发展，以及3）如何为各种推荐系统任务实现基于大型语言模型的生成式推荐。希望这篇综述可以提供探索这一有趣且新兴话题所需的背景和指导。

    Sep, 2023

  • 序列推荐的扩散增强

    DiffuASR是一种基于扩散模型的顺序推荐算法，通过数据增强解决了数据稀疏性和长尾用户问题，并且能够直接训练顺序推荐模型，提高推荐效果。

    Sep, 2023

  • 用于重新排序推荐的非自回归生成模型

    在多阶段推荐系统中，重新排名通过建模项之间的内部列表相关性发挥着关键作用。在重新排名中的关键挑战在于在排列组合空间中探索最优序列。最近的研究提出了一个生成器-评估器学习范式，其中生成器生成多个可行序列，评估器基于估计的列表得分选择出最佳序列。生成器是至关重要的，而生成模型非常适合生成器函数。然而，在实时工业系统中部署自回归模型是具有挑战性的。因此，我们提出了一种用于重新排名推荐的非自回归生成模型(NAR4Rec)，旨在提高效率和效果。为了解决与稀疏训练样本和动态候选项对模型收敛的影响相关的挑战，我们引入了匹配模型。考虑到用户反馈的多样性，我们提出了一种序列级别的非可能性训练目标，以区分可行序列和不可行序列。此外，为了克服非自回归模型中关于目标项的依赖建模不足的问题，我们引入了对比解码来捕捉这些项之间的相关性。对公开可用数据集进行的大量离线实验验证了我们所提出方法与现有最先进的重新排名方法相比的卓越性能。此外，我们的方法已在拥有超过3亿日活跃用户的热门视频应用快手上完全部署，显著提高了在线推荐的质量，展示了我们方法的有效性和效率。

    Feb, 2024

  • 行动胜于语言：万亿参数顺序转导器用于生成推荐

    HSTU-based Generative Recommenders, with 1.5 trillion parameters, outperform baselines by up to 65.8% in NDCG, improve metrics by 12.4% in online A/B tests, and scale empirically as a power-law of training compute, reducing carbon footprint and paving the way for foundational models in recommendations.

    Feb, 2024

  • 基于生成模型的现代推荐系统综述

    通过综合和多学科的调查研究，本文连接了使用生成模型（Gen-RecSys）在推荐系统中的关键进展，包括：基于交互驱动生成模型的基础概述；大型语言模型（LLM）用于生成推荐、检索和对话推荐的应用；以及用于处理和生成图像和视频内容的多模态模型在推荐系统中的整合。我们的全面观点使我们能够突出评估Gen-RecSys的影响和风险所必需的范式，并确定开放挑战。有关论文的更加最新版本可在此 https URL 找到。

    Mar, 2024

  • CALRec：生成式LLM的对比对齐在顺序推荐中的应用

    传统推荐系统如矩阵分解方法依赖于学习一个共享的稠密嵌入空间来表示物品和用户偏好。最近，序列模型如RNN、GRU和Transformer在序列推荐任务中也表现出色。研究人员最近开始探索使用在大量文本语料库上预训练的大型语言模型（LLMs）进行序列推荐。为了在序列推荐中使用LLMs，用户交互的历史记录和模型预测的下一个物品都以文本形式表示。我们提出了CALRec，一个两阶段的LLM微调框架，它使用两种对比损失和语言建模损失在两个塔式结构中微调预训练的LLM：首先在多个领域的数据混合上微调LLM，然后进行目标领域的微调。我们的模型显著优于许多最先进的对比方法（在Recall@1上增长37%，在NDCG@10上增长24%），系统的消融研究揭示了（i）两个微调阶段都是至关重要的，在结合起来时我们可以获得更好的性能，以及（ii）目标领域中的对比对齐在我们的实验中是有效的。

    May, 2024

  • DELRec: 提炼序列模式以增强基于LLM的推荐

    提出了DELRec框架，通过两种策略提取SR模型展示的行为模式，从而帮助LLMs更有效地执行SR任务。在三个真实数据集上的广泛实验结果验证了DELRec框架的有效性。

    Jun, 2024

  • EasyRec：简单而有效的推荐语言模型

    本研究解决了现有推荐系统在零样本学习场景中表现不佳的问题，提出了EasyRec，一种将文本语义理解与协同信号无缝集成的有效方法。通过对比学习和协同语言模型调优的文本-行为对齐框架，EasyRec在多种真实数据集上表现优越，展示了其在动态环境中提升推荐性能的潜力。

    Aug, 2024

  • 推荐系统中的扩散模型研究综述

    本文解决了传统推荐技术在泛化性能上的不足，提出扩散模型作为一种新的解决方案。通过全面调查现有研究，本研究系统性地分类扩散模型在数据工程、推荐模型和内容呈现中的应用，凸显其在捕捉复杂数据分布和生成高质量样本方面的独特优势，进而为未来的研究提供了方向。

    Sep, 2024