ICMLMay, 2023

探究多标签学习中宏平均 AUC 的泛化能力

PDF
TL;DR本文旨在理解和解决多标签学习中常用的宏平均（Macro-AUC）评价指标的理论问题。通过对 PASCAL VOC、Yahoo、和 MS COCO 数据集的实验结果和理论分析，发现数据集的类别不平衡是影响宏平均评价指标泛化范围的关键因素，并提出一种更通用的 McDiarmid 型浓度不等式。结果表明，相较于基于单变量损失函数的算法，基于成对损失函数和重新加权的损失函数更加稳健。
发现论文，激发创造
  • 多个未标记数据集的 AUC 优化

    本文研究如何从多个未标注数据集中构建一个 AUC 优化模型，提出了一种称为 U^m-AUC 的方法，将 U^m 数据转化为多标签 AUC 优化问题，可以有效地进行理论与实证研究。

    May, 2023

  • 一元 ROC 曲线下面积的界

    本文提出了一种新的替代损失函数来优化 AUC，避免了训练数据之间的成对比较，具有线性的时间和存储复杂度，并对在线学习和批处理算法进行实验以说明其有效性。

    Apr, 2018

  • 大数据和人工智能时代的 AUC 最大化调查

    本文概述了过去 20 年中与 AUC 最大化相关的文献，不仅提供全面的文献综述，还从公式到算法和理论保证提供了详细的解释和比较，并对深度学习 AUC 最大化的剩余和新兴问题进行了讨论。提供未来工作的建议。

    Mar, 2022

  • AUC 两两优化的一致性

    本文提供了用于鉴定基于替代损失函数的学习方法渐近一致性的充分条件，并证明了指数损失和逻辑损失与 AUC 一致，但铰链损失是不一致的。基于这个结果，本文还推导了一些与 AUC 一致的损失函数，进一步揭示了指数损失和逻辑损失的相容界限以及在非噪声设置下许多替代损失函数的相容界限，并发现 AdaBoost 和 RankBoost 具有相同的指数代理损失。

    Aug, 2012

  • 基于正类未标记学习的半监督 AUC 优化

    本文提出了一种新的半监督 AUC 优化方法，不需要强限制假设，其基于正例和未标记数据的 AUC 优化方法（PU-AUC），并将其与监督 AUC 优化方法结合来实现半监督学习，理论证明了未标记数据对于 PU 和半监督 AUC 优化方法的泛化性能的改善有帮助，并通过实验证明了所提出方法的实用性。

    May, 2017

  • 弱监督下的 AUC 优化：一个统一的部分 AUC 方法

    本文提出了 WSAUC 框架作为弱监督 AUC 优化问题的统一解决方案，在此框架下，通过最大化经验 rpAUC，本文在多种弱监督情景下有效提高了 AUC 的优化能力。

    May, 2023

  • 克服选择性分类系统评估中的常见缺陷

    选择性分类方法可以在低置信度预测时拒绝，可靠地将基于机器学习的分类系统应用于临床诊断等实际场景。本研究定义了多阈值评估度量在选择性分类中的 5 个要求，涉及任务对齐、可解释性和灵活性，并展示了当前方法未能满足这些要求。我们提出了广义风险覆盖曲线下的面积（AUGRC），该曲线满足所有要求，并可直接解释为未检测到故障的平均风险。通过综合评估 6 个数据集和 13 个置信度评分函数的广泛基准，我们在实证上证明了 AUGRC 的相关性。我们发现，在这 6 个数据集中，所提出的度量方法显著改变了度量排名中的 5 个数据集。

    Jul, 2024

  • DRAUC: 一种基于实例的分布鲁棒 AUC 优化框架

    基于分布鲁棒的面积下 ROC 曲线 (DRAUC) 的模型优化框架，解决了长尾分类情景下训练和测试样本分布差异以及标签偏差的问题。

    Nov, 2023

  • 通过多任务 AUC 优化学习个性化属性偏好

    提出一种基于多任务学习的方法，通过属性偏好学习、AUC 损失函数以及梯度的高效计算方法，实现了个性化的属性学习，进而保证个性化的排序预测效果。

    Jun, 2019

  • 一遍 AUC 最优化

    本研究提出一种基于回归的算法和一种随机算法，用于一次遍历训练数据集并进行 AUC 优化，可以高效地处理高维数据，并且只需要在内存中维护训练数据的前两阶统计量。

    May, 2013