Aug, 2022

基于双向 Transformer 的对比学习用于序列推荐

PDF
TL;DR本文提出了一种新框架，使用双向 Transformer 进行对比学习，针对顺序推荐中用户行为不是严格的从左到右顺序这一问题进行改进，同时采用滑动窗口技术，结合 Cloze 任务掩码和 Dropout 掩码来生成高质量正样本，并进行多对比学习，通过实验结果表明，相较于传统单一对比学习，该框架表现更优越。
contrastive learningtransformer-based sequence encodersequential recommendationbidirectional transformersmulti-pair contrastive learning
发现论文，激发创造
  • BERT4Rec: 使用 Transformer 的双向编码器表示进行序列推荐

    利用双向编码表示从历史行为中建模用户的动态演变偏好对于推荐系统至关重要，我们通过使用 Cloze 任务对历史序列项进行联合编码来解决这个问题，并在四个基准数据集上展开广泛实验，结果显示我们的模型在各种顺序模型中表现出色。

    Apr, 2019

  • 双向 Transformer 用于顺序推荐中解决 Cloze 任务偏差问题

    本研究提出了一种新颖的倾向性评分机制，旨在纠正序列推荐中的暴露偏差，并实证了该方法对暴露偏差的鲁棒性。

    Jan, 2023

  • 序列推荐的对比学习

    提出了一种用于顺序推荐的对比学习多任务模型 CL4SRec，在传统的下一个项目预测任务的基础上，从原始用户行为序列中提取更有意义的用户模式，并进一步有效地编码用户表示，通过构建自我监督信号和数据增强等手段，来解决数据稀疏性和参数优化问题，并在四个公共数据集上实现了业界领先的性能。

    Oct, 2020

  • 使用对比双向变换器学习视频表示

    本文提出了一种自监督学习方法，用于视频特征，与现有方法相比在下游任务中表现显著提高，通过将文本序列的 BERT 模型扩展到实值特征向量序列的情况，以噪声对比估计取代 softma 损失函数，同时展示了如何从可视特征序列和 ASR 派生的词序列中学习表示，并且表明这样的跨模态训练可以进一步提高性能。

    Jun, 2019

  • 带双向时间增强的 Transformer 序列推荐

    研究通过双向时间排序转换数据增强和自主知识蒸馏提高顺序推荐中对于短序列的精度

    Dec, 2021

  • 具有鲁棒增强的对比自监督序列推荐

    本文研究对于顺序推荐问题，应用对比自监督学习来缓解数据稀疏和噪声等问题，并提出两种信息增强算子构建高质量视图进行对比学习，实验表明该方法可以提升模型性能和鲁棒性。

    Aug, 2021

  • 基于对比学习和自注意力机制的时间接近度上的顺序推荐

    通过对用户行为的纵向和横向时间关系进行建模，我们提出了一个名为 TemProxRec 的顺序推荐模型，该模型通过对比学习和自注意方法来准确预测特定时间段内的相关项目。

    Feb, 2024

  • 具有时间图协同变换器的连续时间序列推荐

    提出了一种基于时间顺序的用户行为建模方法，通过融合顺序模式和时间合作信号，并采用 TCT 层和连续时间二分图，设计了一种新的框架 (Temporal Graph Sequential Recommender)，该模型有效提高了推荐质量。

    Aug, 2021

  • 序列推荐的图形掩蔽自编码器

    提出了一种简单而有效的图蒙版自编码器，通过自监督学习来自适应动态提取全局项转换信息，在顺序推荐中进行信息增强。

    May, 2023

  • 基于多意图解耦的序列推荐对比学习方法

    我们提出了一种基于多意图解缠的对比学习序列推荐方法（MIDCL），通过识别动态多样的意图，针对用户行为进行推荐，实现了超越大多数现有基准方法的性能，并为基于意图的预测和推荐研究带来了更可解释的案例。

    Apr, 2024