本文提出一种基于 AUPRC pipeline 的技术方法,采用 SOAP 采样算法来提高分类性能,并利用最新的随机组合优化技术进行优化。该方法在图像和图形数据集上的实验结果表明,在 AUPRC 方面,我们的方法优于先前的方法。这是首次尝试通过证明收敛性来优化 AUPRC。
Apr, 2021
通过研究无服务器多方协同学习的 AUPRC 最大化问题,我们提出了一种新的 ServerLess 偏置随机梯度(SLATE)算法,用于直接优化 AUPRC,并使用方差缩减技术改进了收敛速度,这是目前解决多方协同 AUPRC 最大化问题的首个工作。
Aug, 2023
通过新颖的数学分析,本文挑战并证明按照概率的观点,AUPRC(精确率 - 召回率曲线下的面积)和 AUROC(接收者操作特征曲线下的面积)可以简洁地相互关联。同时,通过对超过 150 万篇论文的大规模语言模型分析,揭示了 AUPRC 被广泛接受的先入为主观念的实证不足和误导趋势,强调了对度量标准性能的深入理解的重要性和机器学习社区中未经证实的假设的危险性。
Jan, 2024
本文提出了一种新颖的随机近端算法来最大化 ROC 曲线下方区域(AUC),并在各种应用领域的基准数据集上进行了广泛的实验,证明了该算法优于现有的 AUC 最大化算法。
Jun, 2019
本研究提出了一种在深度神经网络中进行随机 AUC 最大化的算法,利用了 Polyak-LŁojasiewicz 条件发展了新的随机算法,获得更快的收敛率和更实际的步长方案,通过实验结果证明了算法的有效性。
Aug, 2019
本文提出一种名为 STORM-PG 的新算法,它采用 SARAH 类型的随机递归方差降低的策略梯度,具有对于 STORM-PG 具有严格的 O(1/ε^3)样本复杂度界限,并避免了其他方差减小的策略梯度方法中存在的大批处理和小批处理之间的交替,从而允许较简单的参数调整,并在数值实验中表现出了与其他策略梯度算法相比的优越性。
Mar, 2020
本文提供了用于鉴定基于替代损失函数的学习方法渐近一致性的充分条件,并证明了指数损失和逻辑损失与 AUC 一致,但铰链损失是不一致的。基于这个结果,本文还推导了一些与 AUC 一致的损失函数,进一步揭示了指数损失和逻辑损失的相容界限以及在非噪声设置下许多替代损失函数的相容界限,并发现 AdaBoost 和 RankBoost 具有相同的指数代理损失。
Aug, 2012
该论文研究了在采用小型或有界批量大小时,在非凸设置中具有重要意义的随机近端梯度法,证明了该方法在非凸复合优化问题中达到最优的收敛速度,并且严格分析了 Polyak 动量在复合优化设置中的方差缩减效应,同时证明了在近似解决近端步骤的情况下,该方法仍然收敛,并通过数值实验验证了我们的理论结果。
Mar, 2024
选择性分类方法可以在低置信度预测时拒绝,可靠地将基于机器学习的分类系统应用于临床诊断等实际场景。本研究定义了多阈值评估度量在选择性分类中的 5 个要求,涉及任务对齐、可解释性和灵活性,并展示了当前方法未能满足这些要求。我们提出了广义风险覆盖曲线下的面积(AUGRC),该曲线满足所有要求,并可直接解释为未检测到故障的平均风险。通过综合评估 6 个数据集和 13 个置信度评分函数的广泛基准,我们在实证上证明了 AUGRC 的相关性。我们发现,在这 6 个数据集中,所提出的度量方法显著改变了度量排名中的 5 个数据集。
Jul, 2024
本文提出一种加速的随机算法来最小化凸函数的总和,该算法适用于机器学习和凸函数非凸平均问题,并使用动量提高了算法性能,同时可实现小批量并行计算。
Feb, 2018