通过在六个受控的模拟环境中对 11 个推荐系统进行评估，研究离线度量是否能够预测在线性能，在观察到离线度量在一定范围内与在线性能相关的同时，还发现离线性能的提高会导致在线性能的收益递减，同时观察到推荐系统的排名取决于初始离线数据量以及探索策略的添加策略的有效性高度依赖推荐算法。

Nov, 2020

我们的研究目的是调查和比较离线评估指标的在线表现。我们表明，在评估过程中对热门商品进行惩罚，并考虑交易时间能够显著提高我们选择最佳推荐模型的能力。我们的结果经过五个大规模真实推荐数据的平均处理，旨在帮助学术界更好地理解离线评估和更贴近推荐系统实际应用的优化标准。

Aug, 2023

本文介绍了基于历史数据的线下评估方法，计算新推荐系统版本可能带来的收益提升，提供对实际环境下偏差建模的反事实估计量的变量，通过在线广告个性化产品推荐引起商业指标相关性的商业实验来检验这些估计值。

Jan, 2018

本文介绍了一种基于数据驱动的回放方法，用于在线推荐系统中上下文匹配算法的离线评估，解决了传统基于模拟器的方法中数据建模困难且存在偏差的问题，并在 Yahoo! 等大规模新闻文章推荐数据集表现出的神经网络在在线离线策略上的准确性和效率。

Mar, 2010

本文提出一种离线评估方法来评估推荐系统的解释质量，并使用反事实方法量化其对推荐的影响，结果表明与传统的人类评估方法相比，该方法能更好地产生与实际人类判断更相关的评估分数，说明反事实方法是评估推荐解释的一种有前途的方法。

Mar, 2022

利用模拟来加速离线强化学习与行动评估的实证研究：探讨离线强化学习与行动评估的实证研究如何受益于模拟，并提供了在 RecSys 和 RTB 中进一步促进实证研究的开放挑战和解决方案。

Sep, 2021

本文详细介绍了推荐系统的评估方法，包括内容推荐和协同过滤机制的相似度指标，候选生成度量，预测指标，排名指标以及与经济目标相关的商业指标。同时强调了这些指标的上下文应用和相互依赖，提出了一种选择和解释这些指标的框架，以促进推荐系统的改进和商业目标的实现。

Dec, 2023

提出了一个简化推荐系统评估漏斗的新框架，通过分解成功定义为构建高效评估漏斗提供指导，并概述了最常见和有用的评估方法，讨论了它们的优缺点及相互补充的关系，最后给出了如何设计高效的推荐系统评估过程的建议。

Apr, 2024

本文提出了一种基于对比学习框架的评分指标，能够更准确地排名离线策略并用于监督式的离线策略优化，其在各种离线增强学习基准测试中表现优异，需求的策略网络容量更低、无需额外的网络配合。

Jan, 2023

本研究提出了四个关于推荐系统研究的大问题，包括不确定性估计、泛化、超参数优化和数据集预处理，并结合 TrainRec 的实验，得出了一组指导方针，建议未来的研究应该遵循这些指导方针进行评估。

Nov, 2022