May, 2024
一种适用于具有光滑替代损失的学习的通用增长率
A Universal Growth Rate for Learning with Smooth Surrogate Losses
Anqi Mao, Mehryar Mohri, Yutao Zhong
TL;DR该论文对用于分类的各种代理损失函数的 $H$- 一致性界限（和超额误差界限）的增长率进行了全面分析。我们证明了二分类中平滑边界为基础的代理损失函数在接近零时的平方根增长率，并在温和假设下提供了上下界限。我们还将此分析扩展到多类分类，并通过一系列新颖的结果展示了平滑 comp-sum 和约束损失的普遍平方根增长率。在这个普遍率的基础上，我们研究了不同代理损失函数的选择问题，并首先考察了 $H$- 一致性界限在不同类别的代理损失函数间的变化。然后，我们通过忽略常数并关注接近零时的行为，确定了最小化差距是这些界限差异化因素的关键。因此，我们深入分析这些差距，以指导代理损失函数的选择，并涵盖：对不同的 comp-sum 损失进行比较，差距变为零的条件，以及导致小差距的一般条件。此外，我们还展示了最小化差距在比较超额误差界限和 $H$- 一致性界限中的关键作用。