Oct, 2020

推荐系统离线评估中数据泄露的关键研究

PDF
TL;DR本文对推荐系统离线评估中的数据泄漏问题进行了全面的分析，并通过实验表明，数据泄漏确实会影响模型的推荐准确性，提出了一种时间轴方案来评估推荐系统，以更加真实地模拟离线环境。
发现论文，激发创造
  • 为推荐系统构建离线评估的时序和无偏倚的流行度离线指标

    我们的研究目的是调查和比较离线评估指标的在线表现。我们表明，在评估过程中对热门商品进行惩罚，并考虑交易时间能够显著提高我们选择最佳推荐模型的能力。我们的结果经过五个大规模真实推荐数据的平均处理，旨在帮助学术界更好地理解离线评估和更贴近推荐系统实际应用的优化标准。

    Aug, 2023

  • 离线指标能否预测推荐系统的在线性能？

    通过在六个受控的模拟环境中对 11 个推荐系统进行评估，研究离线度量是否能够预测在线性能，在观察到离线度量在一定范围内与在线性能相关的同时，还发现离线性能的提高会导致在线性能的收益递减，同时观察到推荐系统的排名取决于初始离线数据量以及探索策略的添加策略的有效性高度依赖推荐算法。

    Nov, 2020

  • 推荐系统中在线行为建模：时间上下文的重要性

    本研究探讨了在线推荐系统和离线评估之间的差异，提出了通过纳入时间因素来提高推荐系统性能的训练方法，并在实际数据集中验证了该方法的有效性。

    Sep, 2020

  • 离线推荐系统评估指南

    本研究提出了四个关于推荐系统研究的大问题，包括不确定性估计、泛化、超参数优化和数据集预处理，并结合 TrainRec 的实验，得出了一组指导方针，建议未来的研究应该遵循这些指导方针进行评估。

    Nov, 2022

  • 针对推荐系统的成员推断攻击

    本文第一次尝试从成员推理的角度量化推荐系统的隐私泄漏，并提出了基于成员推理的攻击框架和防御机制。实验结果表明，攻击框架具有强大的性能。

    Sep, 2021

  • 推荐系统与人的交互

    该研究旨在了解推荐算法对未来用户数据的影响，通过提出一个简单模型，表明忽略这个反馈循环将导致非一致性评估器，因此验证了我们的结论。

    Mar, 2017

  • 通过无数据模型提取对顺序推荐器的黑盒攻击

    本研究探讨了模型提取是否可以用于 “窃取” 顺序推荐系统的权重以及针对此类攻击对受害者可能带来的潜在威胁。我们认为，由于用于训练它们的特定自回归模型，顺序推荐系统容易受到攻击。我们在无数据访问情况下，通过有限预算模拟数据生成和知识蒸馏提出了一种基于 API 的模型提取方法，以研究最先进的顺序推荐模型在此类攻击下的脆弱性。通过两阶段攻击，即模型提取和下游攻击，我们发现黑盒顺序推荐模型易受白盒顺序推荐器生成的对抗样本干扰并受到污染。

    Sep, 2021

  • 探究基于会话的推荐系统中的流行度偏见

    通过分析 session-based 推荐任务的唯一特性，对倾向性进行独特计算，研究在不同数据集上的倾向性分布和不同分层技术，在推荐系统的大规模离线评估中取得了令人期待的结果。

    Dec, 2023

  • 推荐与用户代理：合作过滤信息的可达性

    本研究从用户可控性的角度，通过可达性理论，提出了一种用于检测顶部线性推荐模型的计算有效的审核方法，并描述了模型复杂度与用户控制推荐工作的关系，同时探讨了使用领先的电影评级数据集训练的现有模型的实证调查。

    Dec, 2019

  • 推荐系统的离线 A/B 测试

    本文介绍了基于历史数据的线下评估方法，计算新推荐系统版本可能带来的收益提升，提供对实际环境下偏差建模的反事实估计量的变量，通过在线广告个性化产品推荐引起商业指标相关性的商业实验来检验这些估计值。

    Jan, 2018