Feb, 2023

使用全对二次铰链损失函数的对数线性梯度下降算法用于非平衡二分类

PDF
TL;DR本文提出了一种新的功能表示方法，用于解决在使用大批量学习场景下原始学习算法太慢的问题，并在监督二分类问题的实验中表明了这种方法对于不平衡的数据集能够获得更高的 AUC 值，并且可以使用比之前方法更大的批量大小。
receiver operating characteristicroc curvesbinary classificationgradient descent learningimbalanced data sets
发现论文，激发创造
  • AUC 两两优化的一致性

    本文提供了用于鉴定基于替代损失函数的学习方法渐近一致性的充分条件，并证明了指数损失和逻辑损失与 AUC 一致，但铰链损失是不一致的。基于这个结果，本文还推导了一些与 AUC 一致的损失函数，进一步揭示了指数损失和逻辑损失的相容界限以及在非噪声设置下许多替代损失函数的相容界限，并发现 AdaBoost 和 RankBoost 具有相同的指数代理损失。

    Aug, 2012

  • 一元 ROC 曲线下面积的界

    本文提出了一种新的替代损失函数来优化 AUC，避免了训练数据之间的成对比较，具有线性的时间和存储复杂度，并对在线学习和批处理算法进行实验以说明其有效性。

    Apr, 2018

  • 随机近端 AUC 最大化

    本文提出了一种新颖的随机近端算法来最大化 ROC 曲线下方区域（AUC），并在各种应用领域的基准数据集上进行了广泛的实验，证明了该算法优于现有的 AUC 最大化算法。

    Jun, 2019

  • 深度 AUROC 优化基准测试：损失函数和算法选择

    本文通过实验证明深度学习中组合性损失函数具有更好的性能表现，同时针对正样本采样率、正则化、归一化 / 激活和优化器等算法进行深度 AUROC 最大化的讨论和探究

    Mar, 2022

  • 基于正类未标记学习的半监督 AUC 优化

    本文提出了一种新的半监督 AUC 优化方法，不需要强限制假设，其基于正例和未标记数据的 AUC 优化方法（PU-AUC），并将其与监督 AUC 优化方法结合来实现半监督学习，理论证明了未标记数据对于 PU 和半监督 AUC 优化方法的泛化性能的改善有帮助，并通过实验证明了所提出方法的实用性。

    May, 2017

  • 优化 AUC 是否划算？

    通过提出一种高效的算法 AUC-opt 来寻找证明最优 AUC 的线性分类器，并且证明问题在一定条件下是 NP 完全的；此算法在实验中证明相较于其他方法有所改善，但在大多数测试数据中表现并不如标准分类器。

    Jun, 2023

  • 基于 AUC 的选择性分类

    本文提出了一种模型不可知的方法，将一个选择函数与给定的概率二元分类器相关联，以最优化 AUC，并且通过使用 AUCROSS 算法来取得成功，从而在交换覆盖率和 AUC 之间达到最佳平衡。

    Oct, 2022

  • 一遍 AUC 最优化

    本研究提出一种基于回归的算法和一种随机算法，用于一次遍历训练数据集并进行 AUC 优化，可以高效地处理高维数据，并且只需要在内存中维护训练数据的前两阶统计量。

    May, 2013

  • 关于使用对称损失学习修正标签的研究

    本文旨在提供关于对称损失函数的更好理解。论文首先强调在平衡错误率（BER）最小化和受损标签下的接收者操作特性曲线（AUC）最大化中使用对称损失函数的优势。其次，我们证明对称损失函数的一般性质，包括分类校准条件、风险超出界限、条件风险最小化以及 AUC 一致性条件。第三，由于所有非负对称损失函数都是非凸的，我们提出了一个凸性障碍铰链损失函数，它从对称条件中受益很大，尽管它不是在所有地方都对称。最后，我们进行实验以验证对称条件的相关性。

    Jan, 2019

  • 二元预测器的 ROC 和 AUC：一个可能导致误导的度量

    研究比较了二元预测变量的 ROC 曲线与 AUC 值之间的关系，在比较软件实现方法时发现线性插值法虽然最为普遍，但不一定得出最正确的性能评价。同时比较了阶梯函数插值法和 pessimistic 插值法的优缺点，建议在结果中说明插值法的使用方式。

    Mar, 2019