本文提出了一种新的替代损失函数来优化 AUC,避免了训练数据之间的成对比较,具有线性的时间和存储复杂度,并对在线学习和批处理算法进行实验以说明其有效性。
Apr, 2018
通过提出一种高效的算法 AUC-opt 来寻找证明最优 AUC 的线性分类器,并且证明问题在一定条件下是 NP 完全的;此算法在实验中证明相较于其他方法有所改善,但在大多数测试数据中表现并不如标准分类器。
Jun, 2023
选择性分类方法可以在低置信度预测时拒绝,可靠地将基于机器学习的分类系统应用于临床诊断等实际场景。本研究定义了多阈值评估度量在选择性分类中的 5 个要求,涉及任务对齐、可解释性和灵活性,并展示了当前方法未能满足这些要求。我们提出了广义风险覆盖曲线下的面积(AUGRC),该曲线满足所有要求,并可直接解释为未检测到故障的平均风险。通过综合评估 6 个数据集和 13 个置信度评分函数的广泛基准,我们在实证上证明了 AUGRC 的相关性。我们发现,在这 6 个数据集中,所提出的度量方法显著改变了度量排名中的 5 个数据集。
Jul, 2024
ML 模型的尺寸和复杂性在过去十年中迅速增长,但评估其性能的方法未能跟上步伐。然而,我们认为仅考虑来自测试 ROC 曲线的得分只能对模型的性能和泛化能力提供有限的见解。
Dec, 2023
我们提供了一种基于二元矩阵因子分解模型的评估指标,通过一维向量表示来总结多类别分类的对比真阳性率和假阳性率,从而提供了多类别情况下的 ROC 曲线,并通过对这些分解向量的积分得出了对分类器性能的二元 AUC 等效总结。
Apr, 2024
研究比较了二元预测变量的 ROC 曲线与 AUC 值之间的关系,在比较软件实现方法时发现线性插值法虽然最为普遍,但不一定得出最正确的性能评价。同时比较了阶梯函数插值法和 pessimistic 插值法的优缺点,建议在结果中说明插值法的使用方式。
Mar, 2019
本文提出了一种新的功能表示方法,用于解决在使用大批量学习场景下原始学习算法太慢的问题,并在监督二分类问题的实验中表明了这种方法对于不平衡的数据集能够获得更高的 AUC 值,并且可以使用比之前方法更大的批量大小。
Feb, 2023
本文通过实验证明深度学习中组合性损失函数具有更好的性能表现,同时针对正样本采样率、正则化、归一化 / 激活和优化器等算法进行深度 AUROC 最大化的讨论和探究
Mar, 2022
提出了一种基于 ROCCH 方法的混合分类器,可以有效地处理实际环境中的分类器性能不确定性和最优条件缺乏问题,以达到在各种场景下至少与最优分类器相当的表现水平。
Sep, 2000
提出了一种名为 DORO 的分布与离群点鲁棒优化框架,其中核心在于改进的风险函数,可以解决分布变化和离群点的问题,从而提高了机器学习的性能和稳定性。该方法有助于提升现代大型数据集的实验结果。
Jun, 2021