通过使用多样化的 30 个开放数据集和 11 个协同过滤算法在 9 个评估指标下的评估，本论文引入了一种新的基准方法，以促进推荐系统算法的公正和稳健比较，从而推进评估实践。通过严格的实验分析，验证了在数据集的变化性下的方法可靠性，提供了一个既公正又有效的推荐系统算法评估方法，为未来研究工作提供了有价值的指导。

Feb, 2024

本文证明运行基准测试是困难的，并展示了在两个广泛研究的数据集上的问题，Movielens 10M 的基准测试报告的结果亚优，而对基线的细致设置可以改善结果并超越任何新提出的方法，Netflix Prize 社区需要巨大的努力才能获得简单方法的高质量结果，研究论文的实证研究结果是否可靠需要在经过了研究社区的细致调整的标准基准测试上进行。

May, 2019

本研究提出了四个关于推荐系统研究的大问题，包括不确定性估计、泛化、超参数优化和数据集预处理，并结合 TrainRec 的实验，得出了一组指导方针，建议未来的研究应该遵循这些指导方针进行评估。

Nov, 2022

Elliot 是一个全面的推荐框架，旨在通过处理简单的构造文件来运行和再现整个实验流程，包括数据加载、分割、过滤、模型优化和选择、指标计算、统计分析等，旨在为研究人员提供一个工具来方便实验评估的所有步骤，并实现结果的可重复性。

Mar, 2021

本文提出了一种综合的鲁棒性评估方法，针对在线技术中广泛存在的推荐系统，研究数据稀疏性和个人信息注入攻击等多种情形下的鲁棒性，并提出了一套评估工具 Robustness Gym for RecSys (RGRecSys)，可以快速、统一地评估推荐系统模型的鲁棒性。

Jan, 2022

本文详细介绍了推荐系统的评估方法，包括内容推荐和协同过滤机制的相似度指标，候选生成度量，预测指标，排名指标以及与经济目标相关的商业指标。同时强调了这些指标的上下文应用和相互依赖，提出了一种选择和解释这些指标的框架，以促进推荐系统的改进和商业目标的实现。

Dec, 2023

我们开发了一个坚固的人本评估框架，该框架结合了七个不同的评估指标，用于评估五个最近开源的深度学习模型生成的推荐的质量。我们的评估数据集包含了离线基准数据和从 445 名真实用户收集的个性化在线推荐反馈。我们发现，（1）不同的深度学习模型在我们测试的多维度指标上有不同的优势和劣势；（2）用户通常希望在推荐中将准确性与至少一个其他人类价值相结合；（3）不同价值的组合程度需要仔细实验以达到用户偏好水平。

Jan, 2024

本篇研究提出了 FairRec 框架，支持多角度的 DRS 公平测试，并使用 DPSO 算法成功检测出了多个 mainstream DRSs 存在的深度公平问题，并通过简单的二次排序缓解策略显著提升了 DRS 的公平性

Apr, 2023

该研究提供了一种使用因果推论来处理选择偏差的方法，可实现对推荐系统的评估和训练，并获得实际数据上显着改善的预测效果。

Feb, 2016

这项研究通过全面的基准测试过程，对轻量级嵌入式推荐系统（LERSs）的性能、效率和跨任务可转移性进行了调查，并提出了一种高效的嵌入式压缩方法，采用幅度剪枝，克服了现有复杂 LERSs 方法的竞争力，并揭示了 LERSs 在协同过滤和基于内容的推荐两个任务中的独特性能以及其有效性和普适性的启示。

Jun, 2024