使用代理凸损失函数最小化误分类误差率
针对单层神经网络的拟合损失函数，研究神经网络算法中局部极小值的性质，提出当神经元是严格凸函数并且代理损失函数是铰链损失函数的平滑版本时，在所有局部极小值处训练误差为零的条件。同时，通过反例表明当损失函数替换为二次损失或逻辑损失时，该结论可能不成立。
Feb, 2018
本文旨在解决半监督二分类集合聚合问题，以最小化在未标记数据上产生的预测损失，并找到了一类最小 - 最大最优预测。结果是一组半监督集合聚合算法，能像线性学习一样高效，但无需放松任何限制。它们的决策规则采用决策理论中熟悉的形式，将 Sigmoid 函数应用于集合边缘的概念，而不需要通常在基于边缘的学习中做出的假设。
Oct, 2015
本文提出了一种针对非可微和非可分解损失函数的优化方法，使用代理神经网络逐渐逼近真实损失函数，并通过联合双层优化学习预测模型和代理损失函数，实现了高效学习代理损失函数的效果。
May, 2019
本文提出一种新颖的理论框架，利用凸代理损失函数最小化，探讨结构化预测的相关问题，并提供一些保证与监测措施，同时说明了某些任务损失导致学习难度增加，因此普适性最强的 0-1 损失函数并不适用于一般化的结构化预测。
Mar, 2017
本文主要研究代理损失估计误差及其保证方法，提供零一损失和对抗性损失两种情况下的具体保证方法，并通过模拟实验证明了其紧密性。
May, 2022
使用混合整数优化技术得出一种新的损失函数，使之比现有方案更好地逼近 0-1 损失函数，同时保持学习问题的凸性，具有与标准支持向量机相竞争的性能，且在存在异常值时表现更好。
Feb, 2024
本文提出了一个理论框架来进行结构化预测，其将多标签，排序回归和图匹配等任务的损失统一了起来，并可以获得条件随机场和二次代理等现有代理方法上的新结果。
Feb, 2019
该论文对用于分类的各种代理损失函数的 $H$- 一致性界限（和超额误差界限）的增长率进行了全面分析。我们证明了二分类中平滑边界为基础的代理损失函数在接近零时的平方根增长率，并在温和假设下提供了上下界限。我们还将此分析扩展到多类分类，并通过一系列新颖的结果展示了平滑 comp-sum 和约束损失的普遍平方根增长率。在这个普遍率的基础上，我们研究了不同代理损失函数的选择问题，并首先考察了 $H$- 一致性界限在不同类别的代理损失函数间的变化。然后，我们通过忽略常数并关注接近零时的行为，确定了最小化差距是这些界限差异化因素的关键。因此，我们深入分析这些差距，以指导代理损失函数的选择，并涵盖：对不同的 comp-sum 损失进行比较，差距变为零的条件，以及导致小差距的一般条件。此外，我们还展示了最小化差距在比较超额误差界限和 $H$- 一致性界限中的关键作用。
May, 2024