Dec, 2009

复合二元损失

PDF
TL;DR本文研究了二元分类和类概率估计中的损失，将对它们的理解从边缘损失扩展到了一般的组合损失，文中表征了何时边缘损失可以成为适当的组合损失，明确地展示了如何从部分损失的一半中完整地确定对称损失，并介绍了组合二元损失的内在参数化的概念，并给出了适当损失和 “分类校准” 损失之间关系的完整的特征。本文还探讨了 “最佳” 替代二元损失的问题，并介绍了精确的 “最佳” 的概念，以及存在两种凸代理损失不可比较的情况。最后，文中在附录中提供了一些新的算法无关的关于二元损失适当性、凸性和对于误分类噪声的鲁棒性之间关系的结果，并且证明了所有凸适当损失都对误分类噪声不鲁棒。
binary classificationcomposite losseslink functionsurrogate lossconvexity
发现论文，激发创造
  • 适当组合损失函数的 Exp-Concavity

    探讨网络预测与专家意见的关系，研究如何转化任意 beta 可混合损失为同一 beta 值的 beta 指数凹复合损失函数，以实现计算效率和性能保证的平衡。

    May, 2018

  • 弱监督分类的下界适当损失

    本文讨论了弱监督分类的问题，介绍了一种名为广义逻辑挤压的正则化方案，该方案能使任何合适的弱标签损失函数在下界处有界，而不丢失合理性，并实验验证了该方法的有效性，结果突出了合理性和保下界的重要性。

    Mar, 2021

  • 通用损失下的最优二分类器集成

    本文旨在解决半监督二分类集合聚合问题，以最小化在未标记数据上产生的预测损失，并找到了一类最小 - 最大最优预测。结果是一组半监督集合聚合算法，能像线性学习一样高效，但无需放松任何限制。它们的决策规则采用决策理论中熟悉的形式，将 Sigmoid 函数应用于集合边缘的概念，而不需要通常在基于边缘的学习中做出的假设。

    Oct, 2015

  • 统一的二元和多类边界分类

    通过相对边际形式表达多类损失函数的广泛适用性及其对分类 - 校准的扩展分析

    Nov, 2023

  • 使用代理凸损失函数最小化误分类误差率

    研究凸代理损失函数与二元分类问题中线性预测的分类误差率最小化之间的关系，发现在所有凸代理损失函数中，铰链损失提供了最佳的界限。同时，提供了特定凸代理损失的下界，显示常用损失函数之间的区别。

    Jun, 2012

  • 通过强制适当的损失函数，为二分排名设置代理后悔边界

    本文提出使用一种广泛的强适当损失类来实现针对二分排序问题的非两两代理规则界限，并通过最近的结果进一步获得了低噪声条件下的更紧密的代理规则界限。

    Jul, 2012

  • 密度比估计的二元损失

    从有限数量的密度观测结果中估计两个概率密度的比率是机器学习和统计学中的一个核心问题。本研究从一类 Bregman 散度中的预设误差度量出发，表征了导致密度比率估计具有小误差的所有损失函数，并提供了一个简单的构建具有特定属性的损失函数的方法。

    Jul, 2024

  • 多分类校准函数

    简化针对多分类替代损失计算校准函数的过程，提出了一种流线化分析方法，以得到利于非参数设置的紧凑且精确的校准函数，而无需为每种新的替代损失重新推导。

    Sep, 2016

  • 交叉熵损失函数：理论分析与应用

    本文研究了广泛应用的交叉熵损失函数，提出了一族损失函数 comp-sum，包括了交叉熵、广义交叉熵、平均绝对误差等。我们首次给出了这些损失函数的 H - 相容性，进一步介绍了一种新的平滑对抗 comp-sum 损失函数，并证明了它们有助于在对抗性环境下提高模型的 H - 相容性。

    Apr, 2023

  • 多类损失矩阵的凸校准维度

    研究多分类学习问题的替代损失函数的一致性属性，提出了分类校准和凸校准维度的概念和理论，并应用于分析各种损失矩阵和证明在子集排名下某些类型的凸校准替代损失不存在。

    Aug, 2014