本文介绍了一个名为 Robustness Gym 的情感模型评估工具，能够对广泛的文本数据和模型进行鲁棒性测试，并允许用户比较和开发各种评估方法，以验证模型的能力和性能。研究表明，在测试现实世界中的文本应用时，深度神经网络常常是脆弱的。与此同时，通过对抗攻击和基于规则的数据转换等多样化的评估方法，我们可以更好地测试这些模型的鲁棒性。使用该工具，我们能够在商业和学术领域中的命名实体链接（NEL）和摘要模型等方面，深入了解最新的研究成果，并检查其性能差异和缺陷。

Jan, 2021

通过使用多样化的 30 个开放数据集和 11 个协同过滤算法在 9 个评估指标下的评估，本论文引入了一种新的基准方法，以促进推荐系统算法的公正和稳健比较，从而推进评估实践。通过严格的实验分析，验证了在数据集的变化性下的方法可靠性，提供了一个既公正又有效的推荐系统算法评估方法，为未来研究工作提供了有价值的指导。

Feb, 2024

本研究介绍了一种基于模型无关和模型相关超因素的推荐系统评估方法。研究通过全面回顾 141 篇发表在 2017-2020 年的顶级会议论文，系统总结并分析了影响推荐性能的超因素，并针对 10 种推荐算法和 6 种数据集进行了实验验证，最终建立了一个基准系统供后续研究参考。

Jun, 2022

本文介绍 Graph Robustness Benchmark (GRB) 以及如何利用其提供的标准化攻击和防御过程、统一评估协议、公共排行榜评估和数据处理来发展更为健壮的图机器学习模型。

Nov, 2021

通过综合和多学科的调查研究，本文连接了使用生成模型（Gen-RecSys）在推荐系统中的关键进展，包括：基于交互驱动生成模型的基础概述；大型语言模型（LLM）用于生成推荐、检索和对话推荐的应用；以及用于处理和生成图像和视频内容的多模态模型在推荐系统中的整合。我们的全面观点使我们能够突出评估 Gen-RecSys 的影响和风险所必需的范式，并确定开放挑战。有关论文的更加最新版本可在此 https URL 找到。

Mar, 2024

本文旨在通过定义一种补充现有度量方式的量化指标 —— 群体韧性，更好地评估模型在特定攻击情境下的表现并提出了两种损失函数、三种新的攻击策略，证明了该指标对于区分对特定威胁模型的脆弱性有更好的效果，并提出了一种防御方法，可以将群体韧性提高 3.52 倍。

Jun, 2023

量化推荐系统中的偏见和偏差是重要的，本文提出了四个度量指标来衡量受时间和敏感用户组影响的推荐系统中的流行度偏差，并展示了这些度量指标综合使用时能够全面了解敏感群体之间的不公平对待逐渐增加的情况。

Oct, 2023

针对内容提供者，我们提出了一个适用于推荐系统的追索框架，旨在理解模型在做出特定预测和推荐时的基本原理，并通过对三个真实数据集上训练的推荐系统进行实证评估，展示了 RecRec 在生成有效、稀疏和可执行的追索方面的高效性。据我们所知，这项工作是首次对推荐系统生成追索的概念进行了概括和实证测试。

Aug, 2023

通过引入产品的文本评论以提高生成质量，我们提出了一种名为 R-Trojan 的新型攻击框架，将攻击目标表述为优化问题，并采用定制的基于转换器的生成对抗网络 (GAN) 进行求解，从而产生高质量的攻击性用户配置文件。在黑盒设置下对各个受害者推荐系统进行的广泛实验证明了 R-Trojan 在多个受害者推荐系统上明显优于现有最先进的攻击方法，并展示了其良好的不可察觉性。

Feb, 2024

本文介绍了一个对话推荐系统（CRSs）的鲁棒性评估方案，其中自动生成敌对样本以评估系统在不同输入数据面前的鲁棒性。通过执行这些敌对样本，我们可以比较不同 CRSs 满足用户偏好的能力，并表明测试的三个 CRSs 都不够稳健和可靠。

Mar, 2023