ICMLJan, 2019

关于使用对称损失学习修正标签的研究

PDF
TL;DR本文旨在提供关于对称损失函数的更好理解。论文首先强调在平衡错误率（BER）最小化和受损标签下的接收者操作特性曲线（AUC）最大化中使用对称损失函数的优势。其次，我们证明对称损失函数的一般性质，包括分类校准条件、风险超出界限、条件风险最小化以及 AUC 一致性条件。第三，由于所有非负对称损失函数都是非凸的，我们提出了一个凸性障碍铰链损失函数，它从对称条件中受益很大，尽管它不是在所有地方都对称。最后，我们进行实验以验证对称条件的相关性。
发现论文，激发创造
  • 非对称损失函数用于噪声标签学习

    通过研究损失函数的对称性，提出了一种新的损失函数 —— 非对称损失函数，用于稳健的神经网络训练，得出了其理论性质和实验结果。

    Jun, 2021

  • AUC 两两优化的一致性

    本文提供了用于鉴定基于替代损失函数的学习方法渐近一致性的充分条件，并证明了指数损失和逻辑损失与 AUC 一致，但铰链损失是不一致的。基于这个结果，本文还推导了一些与 AUC 一致的损失函数，进一步揭示了指数损失和逻辑损失的相容界限以及在非噪声设置下许多替代损失函数的相容界限，并发现 AdaBoost 和 RankBoost 具有相同的指数代理损失。

    Aug, 2012

  • 对称标签噪声下的学习：不羁的重要性

    本研究提出了一种凸，分类校正损失并证明它是 SLN - 稳健的。该损失通过负无限来避免先前的结果，并且实验证明了 unhinged loss 的 SLN - 鲁棒性。

    May, 2015

  • 使用全对二次铰链损失函数的对数线性梯度下降算法用于非平衡二分类

    本文提出了一种新的功能表示方法，用于解决在使用大批量学习场景下原始学习算法太慢的问题，并在监督二分类问题的实验中表明了这种方法对于不平衡的数据集能够获得更高的 AUC 值，并且可以使用比之前方法更大的批量大小。

    Feb, 2023

  • 弱监督分类的下界适当损失

    本文讨论了弱监督分类的问题，介绍了一种名为广义逻辑挤压的正则化方案，该方案能使任何合适的弱标签损失函数在下界处有界，而不丢失合理性，并实验验证了该方法的有效性，结果突出了合理性和保下界的重要性。

    Mar, 2021

  • 使用代理凸损失函数最小化误分类误差率

    研究凸代理损失函数与二元分类问题中线性预测的分类误差率最小化之间的关系，发现在所有凸代理损失函数中，铰链损失提供了最佳的界限。同时，提供了特定凸代理损失的下界，显示常用损失函数之间的区别。

    Jun, 2012

  • 任意损失和模型的互补标签学习

    本文提出了一种基于互补标签学习的框架，通过无偏估计分类风险来进行模型选择，且适用于线性 / 非线性模型或凸 / 非凸损失函数，实验表明该方法优于现有方法。

    Oct, 2018

  • 学习代理损失

    本文提出了一种针对非可微和非可分解损失函数的优化方法，使用代理神经网络逐渐逼近真实损失函数，并通过联合双层优化学习预测模型和代理损失函数，实现了高效学习代理损失函数的效果。

    May, 2019

  • 为对称分类任务减少预训练模型中的不一致性保持平衡

    该研究使用一种一致性损失函数来解决在 NLP 领域中模型对称分类的不一致性问题，并在对称和非对称的六个数据集上测试并验证该方法。

    Mar, 2022

  • 对抗一致性与对抗贝叶斯分类器的独特性

    对抗训练是学习鲁棒分类器的一种常见技术，先前的研究表明凸代理损失在对抗情景下不具备统计一致性，即对抗代理风险的最小化序列不一定能最小化对抗分类误差。我们将对抗代理损失的一致性与对抗分类风险最小化者的属性联系起来，即所谓的 “对抗贝叶斯分类器”。具体而言，根据合理的分布假设，对抗学习的凸损失仅在对抗贝叶斯分类器满足某种独特性的情况下具备统计一致性。

    Apr, 2024