Feb, 2024

用于重新排序推荐的非自回归生成模型

PDF
TL;DR在多阶段推荐系统中，重新排名通过建模项之间的内部列表相关性发挥着关键作用。在重新排名中的关键挑战在于在排列组合空间中探索最优序列。最近的研究提出了一个生成器 - 评估器学习范式，其中生成器生成多个可行序列，评估器基于估计的列表得分选择出最佳序列。生成器是至关重要的，而生成模型非常适合生成器函数。然而，在实时工业系统中部署自回归模型是具有挑战性的。因此，我们提出了一种用于重新排名推荐的非自回归生成模型 (NAR4Rec)，旨在提高效率和效果。为了解决与稀疏训练样本和动态候选项对模型收敛的影响相关的挑战，我们引入了匹配模型。考虑到用户反馈的多样性，我们提出了一种序列级别的非可能性训练目标，以区分可行序列和不可行序列。此外，为了克服非自回归模型中关于目标项的依赖建模不足的问题，我们引入了对比解码来捕捉这些项之间的相关性。对公开可用数据集进行的大量离线实验验证了我们所提出方法与现有最先进的重新排名方法相比的卓越性能。此外，我们的方法已在拥有超过 3 亿日活跃用户的热门视频应用快手上完全部署，显著提高了在线推荐的质量，展示了我们方法的有效性和效率。
multi-stage recommendation systemrerankinggenerative modelsnon-autoregressive generative modelsequence-level unlikelihood training objective
发现论文，激发创造
  • 基于生成检索的推荐系统

    提出一种新颖的单阶段生成检索模型，将 Amazon 数据集用于训练，结果表明，这种模型能够获得更好的推荐效果和更好的泛化能力以推荐 “冷启动” 物品。

    May, 2023

  • 一种基于 EM 方法的非自回归条件序列生成方法

    本文提出的一种新方法使用统一的 EM 框架共同优化 AR 和 NAR 模型，以有效地引导系统消除输出序列中的多模态，评估结果表明，该方法在机器翻译任务上实现了具有竞争力的性能，同时显著减少了推理延迟。

    Jun, 2020

  • 非自回归模型的序列生成研究

    该研究通过提出一种分析模型来表征 Non-autoregressive 模型生成不同序列任务的难易程度，并发现知识蒸馏和源 - 目标对齐技术可以帮助提升 Non-autoregressive 模型的准确性，减少目标序列的依赖性。

    Apr, 2020

  • 神经机器翻译及其扩展中的非自回归生成调查

    本文对不自回归生成（NAR）进行了系统的调查，并比较和讨论了不同方面的各种非自回归翻译（NAT）模型，包括数据处理、建模方法、训练标准、解码算法以及受到预训练模型的好处，同时简要回顾了 NAR 模型在机器翻译以外的其他应用，并讨论了未来探索的潜在方向。

    Apr, 2022

  • 非自回归个性化捆绑生成

    本文介绍了一种基于非自回归机制的个性化捆绑生成方法，采用了预训练技术和图神经网络来提取用户偏好和物品兼容性信息，并使用自注意力机制的编码器来提取全局依赖模式，进而设计了一种置换等变的解码架构，能够直接一次性输出所需的捆绑，实验结果表明，所提出的 BundleNAT 在精度、增强精度和召回率上相较于当前最先进方法显著提高了 35.92％、10.97％和 23.67％。

    Jun, 2024

  • 非自回归模型词汇扩容用于高效生成式检索

    该论文研究了非自回归语言模型作为生成式检索的更高效的替代方法，并提出了 PIXAR，一种扩展目标词汇的新方法，通过包括多词实体和常见短语（高达 500 万个标记）来减少标记之间的依赖性，并通过推理优化策略在保持低推理延迟的同时实现了好于标准非自回归模型 31.0% 的相对改进 (MRR@10，MS MARCO 数据集)。

    Jun, 2024

  • GRN: 面向上下文的推荐生成重排网络

    本文提出了一种新的上下文感知再排序框架 —— 生成再排序网络（GRN），包括一个基于 Bi-LSTM 和自注意力机制的评估器和一个带有 GRU、注意力机制和指针网络的生成器，通过交叉熵损失和策略梯度来优化，实验结果表明，GRN 在推荐任务中的表现优于现有的基于点 / 列表的方法 5.2%~6.1%。

    Apr, 2021

  • Autoregressive 生成模型视为基于能量的模型能够更优化

    本文介绍了一种名为 E-ARM 的独特方法，用于训练自回归生成模型。该方法利用了 softmax 操作的额外自由度，使得自回归模型本身成为一种测量输入可能性的基于能量的模型，从而提高了自回归生成模型的效果，并减轻了暴露偏差问题和增加了时间上的一致性。

    Jun, 2022

  • 通过迭代改善的方法进行非自回归神经序列建模

    提出一种基于迭代改善的有条件非自回归神经序列模型，结合了潜变量模型和自编码器的原则，可以广泛应用于任何序列生成任务。该模型经过在机器翻译（En-De 和 En-Ro）以及图像字幕生成方面的广泛评估，观察到它显著加快解码速度，并保持与自回归形式相当的生成质量。

    Feb, 2018

  • 全局自回归模型用于数据高效的序列学习

    介绍了一个基于 seq2seq 模型的 GAM（Global Autoregressive Models）的类，将自回归组件与对数线性组件相结合，在小数据条件下使用全局先验特征来补偿数据不足，并使用两个步骤来训练此模型，实验表明，使用第二个自回归模型可以强有力地减少混乱度。

    Sep, 2019