关于(标准化的)折扣累积收益作为一个离线评估 $n$ 个项目推荐的度量
本研究从理论角度探讨了广泛使用的标准化折扣累计增益(NDCG)- 类型排名度量的理论特性,提出了 “一致可区分性” 的概念,揭示了是否具有一致可区分性取决于折扣函数的降幂程度,在各种选择 k 和折扣函数的情况下,对 NDCG@k 的可区分性进行了分析,并对实验结果进行检验。
Apr, 2013
介绍了 nDCG 的变体 ——rankDCG, 旨在解决 nDCG 等在用户排序或推荐系统中存在的问题;新方法满足有效排序算法的多个标准,并在实验中证明了其有效性。
Mar, 2018
本文提出了一种 NeuralNDCG 算法作为一种新颖的不可区分且可微分的排序近似来解决传统 LTR 算法中优化目标与评估标准之间的矛盾,并且我们介绍了两种这种算法的变体,实证评估结果显示其性能优于之前针对优化 NDCG 的工作,并且与最先进算法基本持平。
Feb, 2021
本文提出了一种优化排序度量 NDCG(即归一化折扣累计增益)和其变种方法的方法,包括创新的组成式方法和双层组成式优化问题,以及利用初始热身和停止梯度算子的实用策略。该方法使用可证明收敛保证的有效随机算法,并通过多个数据集上的实验,展示了在 NDCG 方面优于之前的排序方法的效果。
Feb, 2022
本文提出了一种基于 Discounted Cumulative Gain(DCG)评估模型质量的方法,并建议了 Discounted Rank Upweighting(DRU)训练方法以提高模型的品质,在实验中结果表明,这种基于组排名的训练方法能够选择和学习出对组分布性变化具有鲁棒性的模型。
May, 2023
介绍了一种基于非参数排序的双步骤方法,可以将 MRR 和 NDCG 模型合并,从而在视觉对话的领域中发挥出色,展现了当前 MRR 和 NDCG 的最优表现。
Apr, 2021
提出了一种新的 quicksort-flavored 算法,可以在大量训练数据集上优化非可分离损失函数。已证明,该方法适用于包括 AP 和 NDCG 基础上的损失函数,并且对于我们的方法渐近计算复杂度不能提高。我们展示了该方法在优化结构化铰链损失上的效果并且得到了比简单的可分离损失函数更好的结果,同时需要相当的训练时间。
Apr, 2016
本论文提出了一种新的基于 Learning-to-Rank 方法的 Top-N-Rank 推荐算法,通过在排名列表中只评估前 N 个项目,消除评估低排名项目对学习排序函数的影响,并借助多种类型的隐式反馈来提高推荐质量,使用 ReLU 作为平滑目标函数的方法显著提高了排名质量和运行时间。
Dec, 2018
我们的研究目的是调查和比较离线评估指标的在线表现。我们表明,在评估过程中对热门商品进行惩罚,并考虑交易时间能够显著提高我们选择最佳推荐模型的能力。我们的结果经过五个大规模真实推荐数据的平均处理,旨在帮助学术界更好地理解离线评估和更贴近推荐系统实际应用的优化标准。
Aug, 2023