MMJul, 2023

使用优化的负采样和损失函数对基于会话的 Transformer 推荐进行扩展

PDF
TL;DRTRON 是一个可扩展的基于会话的 Transformer 推荐系统，使用了优化的负采样。通过整合前沿模型如 SASRec 和 GRU4Rec + 的 top-k 负采样和列表损失函数，TRON 在保持与 SASRec 相似的训练速度的同时，提高了推荐准确性。在相关大规模电子商务数据集的评估中，TRON 提升了当前方法的推荐质量。实时的 A/B 测试显示与 SASRec 相比点击率提高了 18.14%，突显了 TRON 在实际环境中的潜力。我们还提供了源代码和匿名数据集，供进一步研究使用。
tronscalable session-based transformer recommenderoptimized negative-samplingrecommendation accuracylarge-scale e-commerce datasets
发现论文，激发创造
  • 基于 Top-k Gains 的循环神经网络会话推荐

    该研究介绍了针对会话推荐的 RNN 模型的新型排名损失函数，与其他方法相比，这些损失函数表现出更好的性能，并且可以通过进一步细化和改进，实现相对于先前的 RNN 解决方案提高了 35% 的 MRR 和 Recall @20，比经典的协作过滤方法提高了 53% 的性能。

    Jun, 2017

  • gSASRec：用负采样训练的序列推荐系统中减少过度自信的方法

    本文研究了推荐模型中的目录规模、负采样、过度自信等问题，并提出了 gBCE 损失函数和 gSASRec 模型，通过实验证明 gSASRec 在大规模数据集中表现优异，与 BERT4Rec 相比能够在更短的训练时间内获得更好的推荐效果。

    Aug, 2023

  • 将废料转化为黄金亏损：BERT4Rec 真的比 SASRec 更好吗？

    我们的研究表明，如果采用和 BERT4Rec 相同的损失函数来训练两个模型，SASRec 在质量和训练速度方面都明显优于 BERT4Rec。此外，我们还展示了使用负采样可以有效地训练 SASRec，并且仍然优于 BERT4Rec，但负样本的数量应该远大于一个。

    Sep, 2023

  • 电商基于会话的推荐的多模态特征和后融合上下文的 Transformer

    本文介绍了 SIGIR 2021 Workshop on E-commerce Data Challenge 中获胜的 Session-based recommendation 算法解决方案，该方案受自然语言处理技术启发，由两个 Transformer 架构 - Transformer-XL 和 XLNet - 的整合组成，通过联合表格事件、文本和图像向量构建多模型特征来解决该任务。同时，文章还对模型的预测效果进行了分析。

    Jul, 2021

  • 基于会话的推荐的改进循环神经网络

    本研究探讨使用循环神经网络 (RNNs) 进行基于会话的推荐任务，并提出了数据增强和考虑输入数据分布变化的方法，同时通过实验证明使用通用蒸馏和直接预测项目嵌入的新模型相对于传统模型在 RecSys Challenge 2015 数据集上分别在 Recall@20 和 Mean Reciprocal Rank@20 指标上改进了 12.8% 和 14.8%。

    Jun, 2016

  • 利用时间衰减选择的顺序推荐的高效有效训练

    本篇研究提出了一种基于最新性采样的序列推荐算法的训练方法，该方法尝试解决目前流行的序列推荐算法训练时间过长、无法充分利用数据的问题，并测试了多种现有的模型架构，结果表明该方法不仅能够有效地提高模型性能，而且训练时间大大减少。

    Jul, 2022

  • 行动胜于语言：万亿参数顺序转导器用于生成推荐

    HSTU-based Generative Recommenders, with 1.5 trillion parameters, outperform baselines by up to 65.8% in NDCG, improve metrics by 12.4% in online A/B tests, and scale empirically as a power-law of training compute, reducing carbon footprint and paving the way for foundational models in recommendations.

    Feb, 2024

  • 具有时间图协同变换器的连续时间序列推荐

    提出了一种基于时间顺序的用户行为建模方法，通过融合顺序模式和时间合作信号，并采用 TCT 层和连续时间二分图，设计了一种新的框架 (Temporal Graph Sequential Recommender)，该模型有效提高了推荐质量。

    Aug, 2021

  • 面向会话推荐的过渡关系感知自注意力

    研究中提出的 TRASA 方法利用图神经网络，结合自我注意力机制和转换关系，提高了基于会话的推荐的识别能力。

    Mar, 2022

  • TR0N: 零样本即插即用条件生成的翻译网络

    TR0N 是一个高度通用的框架，可以将预训练的无条件生成模型转化为有条件模型，从而实现翻译不同空间之间数据协调的目的，它不需要训练数据或微调，但可以达到零样本 FID 为 10.9 的结果，且生成速度非常快，同时保持了更高的通用性。

    Apr, 2023