本文提出使用一种广泛的强适当损失类来实现针对二分排序问题的非两两代理规则界限，并通过最近的结果进一步获得了低噪声条件下的更紧密的代理规则界限。

Jul, 2012

本文提供了用于鉴定基于替代损失函数的学习方法渐近一致性的充分条件，并证明了指数损失和逻辑损失与AUC一致，但铰链损失是不一致的。基于这个结果，本文还推导了一些与AUC一致的损失函数，进一步揭示了指数损失和逻辑损失的相容界限以及在非噪声设置下许多替代损失函数的相容界限，并发现AdaBoost和RankBoost具有相同的指数代理损失。

Aug, 2012

本文主要研究代理损失估计误差及其保证方法，提供零一损失和对抗性损失两种情况下的具体保证方法，并通过模拟实验证明了其紧密性。

May, 2022

本文研究了健壮二分类的代理风险的一致性，为任何数据分配，在原始对抗性风险的最小化序列不受影响的情况下，给出了一组一致的代理损失函数的简单和完整的刻画。

May, 2023

在线学习方法在最小假设下产生顺序遗憾界限，并为统计学习提供期望风险界限；然而，最近的研究结果表明，在许多重要情况下，遗憾界限可能无法保证统计背景下紧致的高概率风险界限。本研究通过将通用在线学习算法应用于在线到批次转换，通过对定义遗憾的损失函数进行一般的二阶校正，获得了几个经典统计估计问题（如离散分布估计、线性回归、逻辑回归和条件密度估计）的几乎最优的高概率风险界限；我们的分析依赖于在线学习算法的不恰当性，因为它们不限制使用给定参考类别的预测器；我们的估计器的不恰当性使得在各种问题参数上显著改善了依赖；最后，我们讨论了我们的顺序算法与现有批处理算法之间的一些计算上的优势。

Aug, 2023

该研究在在线结构预测中应用了Fenchel-Young loss以及随机解码方法，并通过引入利用替代差距框架获得了有限的代价后悔界限，对多类别分类问题中的在线多类别分类进行了改进，得到了精确度以域直径的对数因子优化的有限代价后悔界限。

Feb, 2024

我们对回归的H一致性界限进行了详细研究，提出了适用于回归的H一致性界限的新定理，并针对对称分布和有界假设集的平方损失函数的代理损失函数证明了一系列新的H一致性界限，包括Huber损失、所有的lp损失(p≥1)、平方ε-insensitive损失，以及在平方支持向量回归(SVR)中使用的ε-insensitive损失的负面结果。我们进一步利用我们对回归H一致性的分析，并推导出对抗性回归的合理代理损失函数，从而建立了新的对抗性回归算法，并在第6节报道了有利的实验结果。

Mar, 2024

该论文对用于分类的各种代理损失函数的$H$-一致性界限（和超额误差界限）的增长率进行了全面分析。我们证明了二分类中平滑边界为基础的代理损失函数在接近零时的平方根增长率，并在温和假设下提供了上下界限。我们还将此分析扩展到多类分类，并通过一系列新颖的结果展示了平滑comp-sum和约束损失的普遍平方根增长率。在这个普遍率的基础上，我们研究了不同代理损失函数的选择问题，并首先考察了$H$-一致性界限在不同类别的代理损失函数间的变化。然后，我们通过忽略常数并关注接近零时的行为，确定了最小化差距是这些界限差异化因素的关键。因此，我们深入分析这些差距，以指导代理损失函数的选择，并涵盖：对不同的comp-sum损失进行比较，差距变为零的条件，以及导致小差距的一般条件。此外，我们还展示了最小化差距在比较超额误差界限和$H$-一致性界限中的关键作用。

May, 2024

选择适当的损失函数是机器学习中的一个基本挑战，本文分析了损失函数的性质和与真实概率向量的差异，并研究了基于估计器的预测性能和收敛速度的关系。

Jul, 2024

我们对学习延迟的替代损失函数进行了全面的研究，引入了一类由非递增函数Ψ参数化的广泛替代损失，并在温和条件下建立了其实现的H一致性。对于基于分类误差的成本函数，我们进一步展示了在假设集对称且完备（常见的神经网络和线性函数假设集满足此属性）时，这些损失具有H一致性界限。我们的结果还解决了先前工作(Mozannar et al., 2023)中提出的一个开放问题，通过证明了一个特定替代损失的实现H一致性和贝叶斯一致性。此外，我们还确定了Ψ的选择，以实现任何通用成本函数的H一致性替代损失，从而同时实现了贝叶斯一致性、实现的H一致性和H一致性界限。我们还研究了学习延迟中H一致性界限与实现的H一致性之间的关系，突出了与标准分类的关键差异。最后，我们对我们提出的替代损失进行了经验评估，并将其与现有基准进行了比较。

Jul, 2024