带双向时间增强的 Transformer 序列推荐

Dec, 2021

带双向时间增强的 Transformer 序列推荐

Sequential Recommendation with Bidirectional Chronological Augmentation of Transformer

Juyong Jiang, Yingtao Luo, Jae Boum Kim, Kai Zhang, Sunghun Kim

TL;DR研究通过双向时间排序转换数据增强和自主知识蒸馏提高顺序推荐中对于短序列的精度

Abstract

sequential recommendation can capture user chronological preferences from their historical behaviors, yet the learning of short sequences (cold-start problem) in many benchmark datasets is still an open challenge

sequential recommendation data augmentation pseudo-prior items bidirectional chronological augmentation short sequences

发现论文，激发创造

基于双向 Transformer 的对比学习用于序列推荐

本文提出了一种新框架，使用双向 Transformer 进行对比学习，针对顺序推荐中用户行为不是严格的从左到右顺序这一问题进行改进，同时采用滑动窗口技术，结合 Cloze 任务掩码和 Dropout 掩码来生成高质量正样本，并进行多对比学习，通过实验结果表明，相较于传统单一对比学习，该框架表现更优越。

Aug, 2022

通过反向预训练变压器增强顺序推荐的伪先前项目

本研究提出了一个新的框架 ASReP，其目的是增强短序列数据的特征，避免 transformer-based models 在冷启动问题上性能不佳。通过预训练将 transformer 引导生成历史虚拟数据，并在时间顺序上微调 transformer。实验证明 ASReP 的应用有效性。

May, 2021

BERT4Rec: 使用 Transformer 的双向编码器表示进行序列推荐

利用双向编码表示从历史行为中建模用户的动态演变偏好对于推荐系统至关重要，我们通过使用 Cloze 任务对历史序列项进行联合编码来解决这个问题，并在四个基准数据集上展开广泛实验，结果显示我们的模型在各种顺序模型中表现出色。

Apr, 2019

基于对比学习和自注意力机制的时间接近度上的顺序推荐

通过对用户行为的纵向和横向时间关系进行建模，我们提出了一个名为 TemProxRec 的顺序推荐模型，该模型通过对比学习和自注意方法来准确预测特定时间段内的相关项目。

Feb, 2024

具有时间图协同变换器的连续时间序列推荐

提出了一种基于时间顺序的用户行为建模方法，通过融合顺序模式和时间合作信号，并采用 TCT 层和连续时间二分图，设计了一种新的框架 (Temporal Graph Sequential Recommender)，该模型有效提高了推荐质量。

Aug, 2021

基于随机自注意力机制的序列推荐

本文提出了一种基于 Stochastic Self-Attention 的推荐模型，用于解决现有顺序方法无法处理不确定性和协同传递性的问题，并在五个真实世界基准数据集上进行了广泛实验，证明其在冷启动项目上的优越性。

Jan, 2022

改进时间序列表示学习的双向生成预训练

通过时间序列数据的下一个令牌和上一个令牌的预测，BiTimelyGPT 在预训练任务中保留了时间序列的原始分布和数据形状，并展示了更具表现力的表示能力。使用生物信号数据，BiTimelyGPT 在预测神经功能、疾病诊断和生理迹象方面表现出优异性能。通过可视化注意力热图，我们观察到经过预训练的 BiTimelyGPT 能够从时间序列序列中识别出有区别性的片段，尤其是在任务微调之后。

Feb, 2024

序列推荐的图形掩蔽自编码器

提出了一种简单而有效的图蒙版自编码器，通过自监督学习来自适应动态提取全局项转换信息，在顺序推荐中进行信息增强。

May, 2023

双向 Transformer 用于顺序推荐中解决 Cloze 任务偏差问题

本研究提出了一种新颖的倾向性评分机制，旨在纠正序列推荐中的暴露偏差，并实证了该方法对暴露偏差的鲁棒性。

Jan, 2023

一种针对序列推荐的专注归纳偏置，超越自注意力

提出了一种名为 BSARec 的新方法，利用傅里叶变换注入归纳偏差并整合低频和高频信息以减轻过平滑问题，通过在 6 个基准数据集上进行广泛实验，结果表明该模型在推荐性能方面优于其他 7 种基线方法。

Dec, 2023