优化 AUC 是否划算?
本文概述了过去 20 年中与 AUC 最大化相关的文献,不仅提供全面的文献综述,还从公式到算法和理论保证提供了详细的解释和比较,并对深度学习 AUC 最大化的剩余和新兴问题进行了讨论。提供未来工作的建议。
Mar, 2022
本文提出了一种新的半监督 AUC 优化方法,不需要强限制假设,其基于正例和未标记数据的 AUC 优化方法(PU-AUC),并将其与监督 AUC 优化方法结合来实现半监督学习,理论证明了未标记数据对于 PU 和半监督 AUC 优化方法的泛化性能的改善有帮助,并通过实验证明了所提出方法的实用性。
May, 2017
本文提供了用于鉴定基于替代损失函数的学习方法渐近一致性的充分条件,并证明了指数损失和逻辑损失与 AUC 一致,但铰链损失是不一致的。基于这个结果,本文还推导了一些与 AUC 一致的损失函数,进一步揭示了指数损失和逻辑损失的相容界限以及在非噪声设置下许多替代损失函数的相容界限,并发现 AdaBoost 和 RankBoost 具有相同的指数代理损失。
Aug, 2012
研究比较了二元预测变量的 ROC 曲线与 AUC 值之间的关系,在比较软件实现方法时发现线性插值法虽然最为普遍,但不一定得出最正确的性能评价。同时比较了阶梯函数插值法和 pessimistic 插值法的优缺点,建议在结果中说明插值法的使用方式。
Mar, 2019
本文提出了一种新颖的随机近端算法来最大化 ROC 曲线下方区域(AUC),并在各种应用领域的基准数据集上进行了广泛的实验,证明了该算法优于现有的 AUC 最大化算法。
Jun, 2019
本文质疑了使用接受者操作特征下的面积(AUC)是否是衡量异常检测性能的合适标准,同时提出了在实践中可能存在的偏差性;作者发现,注重在低假阳率下的 AUC 表现良好,并且仅在具有代表性的异常样本时才能比较异常检测器。这一结果提示,在许多情况下,我们应该进行主动或少数样本学习而不是纯粹的异常检测。
May, 2023
本文提出了一种模型不可知的方法,将一个选择函数与给定的概率二元分类器相关联,以最优化 AUC,并且通过使用 AUCROSS 算法来取得成功,从而在交换覆盖率和 AUC 之间达到最佳平衡。
Oct, 2022
使用 AUC 度量方式评估和比较不同模型,但该方法在应用中可能与实际精度偏差较大,因此需探索不同的校准模式和测试校准数据与方法来获取更真实的模型性能。
Apr, 2024