神经网络序列推荐模型评估的抽样策略案例研究

Jul, 2021

神经网络序列推荐模型评估的抽样策略案例研究

A Case Study on Sampling Strategies for Evaluating Neural Sequential Item Recommendation Models

Alexander Dallmann, Daniel Zoller, Andreas Hotho

TL;DR本研究针对目前流行的序列推荐模型的负样本采样方法进行重新评估，发现流行的负样本采样方法并不能保证与完整数据集的排名结果一致，建议结合多种评估策略进行排名比较。

Abstract

At the present time, sequential item recommendation models are compared by calculating metrics on a small item subset (target set) to speed up computation. The target set contains the relevant item and a set of negative items that are sampled from the full item set. Two well-known stra

sequential item recommendation negative item sampling popularity sampling uniform random sampling model ranking

发现论文，激发创造

基于采样的物品推荐评估指标

本文探讨了样本评估指标在物品推荐任务中的应用，进一步证明了样本评估指标与精确评估指标不一致，评估结果也具有不确定性，不建议使用在评估不同算法的优劣上。

Dec, 2019

神经网络协同过滤的采样策略

本论文提出了一种基于神经网络的推荐框架，该框架可以包含用户 - 物品交互信息和多种内容信息，提出了三种新的采样策略来改善框架的训练效率和推荐性能，并对计算成本和收敛性进行了理论分析。

Jun, 2017

利用时间衰减选择的顺序推荐的高效有效训练

本篇研究提出了一种基于最新性采样的序列推荐算法的训练方法，该方法尝试解决目前流行的序列推荐算法训练时间过长、无法充分利用数据的问题，并测试了多种现有的模型架构，结果表明该方法不仅能够有效地提高模型性能，而且训练时间大大减少。

Jul, 2022

生成顺序推荐的负样本

本文提出了 Generate Negative Samples (items) for SR (GenNi) 方法，使用当前 SR 模型中已学习的用户偏好在每个时间步骤采样负面项目，以提供高质量的负面样本，验证了其在四个公共数据集上的有效性和效率。

Aug, 2022

关于采样协同过滤数据集的研究

研究数据集采样策略对推荐算法排名性能的实际影响，设计了一种数据特定的采样策略 SVP-CF，开发了能够建议特定数据集最适宜采样方案的 oracle 工具 Data-Genie，实验结果表明使用 Data-Genie，相对于同级别的采样策略，能丢弃多达 5 倍的数据而保持相同的性能。

Jan, 2022

推荐模型评估的数据分割策略探讨

本文研究评估推荐系统的有效方法学，发现数据划分策略是一个被忽视的因素，并比较了三种不同的划分方法对七种最先进的推荐系统在两个数据集上的影响。结果表明，所用的数据划分策略是一个重要的交叉变量，能够显著改变最先进系统的排名，使得很多当前已发表的文献不可比较，即使使用相同的数据集和评估标准。

Jul, 2020

协同推荐中的流行度去偏差：连接用户和物品视角

研究了推荐系统中流行项和小众项之间存在的偏见问题，并提出了两种度量这种偏见的新方法，同时也提出了一种内部处理方法来减少这种偏见。实验证明，该方法可显著提高推荐质量。

Jun, 2020

推荐系统的顺序性破坏了评估过程

本研究旨在通过对流行评估过程的敌对攻击来表征顺序数据对案例的重要性，提供一种序列感知提升攻击方法，以及在观察数据顺序的基础上仅利用机密测试集的额外信息的下限，从而证明评估处理对 MovieLense-100k 数据集的影响可达约 1％。

May, 2022

采样 Softmax 损失对于物品推荐的有效性

本研究通过理论推导与实验验证，阐明了应用于商品推荐的采样 softmax 损失函数相较传统损失的理论优势包括减轻流行度偏见、挖掘难负样本、最大化排名指标等，并探讨了其在不同推荐算法中的具体应用及特性。

Jan, 2022

组合推荐系统的顺序评估和生成框架

该研究提出了一种基于生成序列概念、以期望总效用为目标函数的组合推荐模型，包含基于搜索和增强学习的序列生成策略，以及全面考虑用户、商品信息和商品间关联的评估模型，离线实验表现出优越性能。

Feb, 2019