Jul, 2022

BERT4Rec 序列推荐的系统性综述和可重复性研究

PDF
TL;DR通过分析 BERT4Rec 在不同实现情况下的表现，本文得出结论：BERT4Rec 在足够长时间的训练后，的确展现出顺序推荐的最新效果，但不同研究中对其效果的确认并不一致。我们提出了自己的 BERT4Rec 实现，并证明它可以在比原论文更短的时间内收敛至相同的表现，此外，我们还展示了该模型可以受益于采用其他的 Transformer 架构。
发现论文，激发创造
  • 将废料转化为黄金亏损：BERT4Rec 真的比 SASRec 更好吗？

    我们的研究表明，如果采用和 BERT4Rec 相同的损失函数来训练两个模型，SASRec 在质量和训练速度方面都明显优于 BERT4Rec。此外，我们还展示了使用负采样可以有效地训练 SASRec，并且仍然优于 BERT4Rec，但负样本的数量应该远大于一个。

    Sep, 2023

  • BERT4Rec: 使用 Transformer 的双向编码器表示进行序列推荐

    利用双向编码表示从历史行为中建模用户的动态演变偏好对于推荐系统至关重要，我们通过使用 Cloze 任务对历史序列项进行联合编码来解决这个问题，并在四个基准数据集上展开广泛实验，结果显示我们的模型在各种顺序模型中表现出色。

    Apr, 2019

  • 利用时间衰减选择的顺序推荐的高效有效训练

    本篇研究提出了一种基于最新性采样的序列推荐算法的训练方法，该方法尝试解决目前流行的序列推荐算法训练时间过长、无法充分利用数据的问题，并测试了多种现有的模型架构，结果表明该方法不仅能够有效地提高模型性能，而且训练时间大大减少。

    Jul, 2022

  • E4SRec：大规模语言模型在序列推荐中的优雅有效高效可扩展解决方案

    这篇论文介绍了一种将大型语言模型与传统推荐系统相结合的解决方案，能够有效地实现顺序推荐，同时解决了大型语言模型在个性化推荐中的挑战。

    Dec, 2023

  • gSASRec：用负采样训练的序列推荐系统中减少过度自信的方法

    本文研究了推荐模型中的目录规模、负采样、过度自信等问题，并提出了 gBCE 损失函数和 gSASRec 模型，通过实验证明 gSASRec 在大规模数据集中表现优异，与 BERT4Rec 相比能够在更短的训练时间内获得更好的推荐效果。

    Aug, 2023

  • 通过反向预训练变压器增强顺序推荐的伪先前项目

    本研究提出了一个新的框架 ASReP，其目的是增强短序列数据的特征，避免 transformer-based models 在冷启动问题上性能不佳。通过预训练将 transformer 引导生成历史虚拟数据，并在时间顺序上微调 transformer。实验证明 ASReP 的应用有效性。

    May, 2021

  • 用强化学习将 GPTRec 与超出精确性目标对齐

    Transformer 模型在推荐系统的顺序推荐任务中应用广泛，BERT4Rec、SASRec 等模型通过使用 Top-K 策略，在准确度等度量指标上取得了最先进的性能。然而，GPTRec 作为替代 Top-K 模型的一个新方法，可以考虑复杂的物品间相互依赖关系，从而适应更多样化的度量指标。本研究提出了一个二阶段的训练方法，通过强化学习来对 GPTRec 进行训练，从而解决了推荐系统训练数据与度量指标之间的不匹配问题。在两个数据集上的实验证明，GPTRec 的 Next-K 生成方法在准确度和次要度量指标之间可以达到更好的权衡。

    Mar, 2024

  • BERT4Loc: 基于 BERT 的位置推荐系统

    本研究提出了一个基于 BERT 的定位感知推荐系统，该系统可以从基于位置的社交媒体平台中提取位置信息，并根据用户的历史行为和偏好，为用户提供更相关的位置推荐结果，该模型在大量的实验数据集中一致优于现有的顺序模型。

    Aug, 2022

  • 简单递归改善遮蔽语言模型

    本文研究在 Transformer 架构中引入循环模块是否可以提高性能，实验结果表明，引入循环模块可以提高 Transformer 模型的稳定性和性能，而不需要使用低层次的性能优化方法，并且参数数量保持不变。

    May, 2022

  • 使用预训练转换器的连续主动学习

    研究探讨使用基于 transformer 的模型如何提升高召回率信息检索的搜索性能，提出了可基于相关反馈进行持续 fine-tune 的 CALBERT 模型。

    Aug, 2022