局部弹性稳定性更好的泛化界限

ICMLOct, 2020

Toward Better Generalization Bounds with Locally Elastic Stability

Zhun Deng, Hangfeng He, Weijie J. Su

TL;DR本文提出一种基于局部弹性的弱稳定性概念，用以提供具有指数通用性限制条件的机器学习算法算法稳定性，比常见的分布无关的最坏损失情况敏感性更具参考价值，该概念在支持向量机、最小二乘回归和随机梯度下降等模型中具有受限制的情况下比统一稳定性提供更紧的泛化限制条件。

Abstract

algorithmic stability is a key characteristic to ensure the generalization ability of a learning algorithm. Among different notions of stability, \emph{uniform stability} is arguably the most popular one, which y

algorithmic stability uniform stability locally elastic stability exponential generalization bounds neural networks

发现论文，激发创造

基于一致稳定算法的泛化界限

提出了一种新的分析技术，证明了一些熟知算法具有更强的泛化保证，并改善了这个算法稳定性的相关细节。

Dec, 2018

几乎处处算法稳定性与泛化误差

探讨了算法稳定性作为分析学习算法泛化误差的可行框架的概念。引入了学习算法训练稳定性的新概念，并证明在一般情况下它足以得到泛化误差的好界。在 PAC 设置中，训练稳定性在可学习性上既是必要的也是充分的。基于训练稳定性的方法不涉及 VC 维或 VC 熵，不需要证明一致收敛，而广义 McDiarmid 不等式可直接限制泛化误差。因此，它可能使我们处理比经验风险最小化更广泛的学习算法类。还探讨了 VC 维、泛化误差和各种稳定性概念之间的关系，并考虑了几个学习算法的例子。

Dec, 2012

均匀稳定算法的高概率泛化界限，近乎最优速率

本文提出了一种新的方法来证明算法稳定性，并且在此基础上给出了关于多次随机梯度下降和正则 ERM 的高概率泛化界，同时也解决了一些之前的开放性问题。

Feb, 2019

对抗训练的数据依赖稳定性分析

通过加入数据分布信息，我们提供了基于随机梯度下降的对抗训练的泛化界限，分析了数据分布的变化和对抗攻击的影响。

Jan, 2024

非光滑凸损失的随机梯度下降稳定性

本研究为首次探讨随机梯度下降算法（SGD）在非光滑凸损失函数上的一致稳定性，得出了相关上下限并基于此获得了多项新且有用的泛化误差界限和差分隐私非光滑随机凸优化算法，且显著优于同类算法。

Jun, 2020

SGD 稳定性：紧密度分析和改进的界限

本文研究了随机梯度下降方法在训练大规模机器学习模型中的应用，分析了损失函数和数据分布对其泛化性能的影响，提出了改进的数据相关的上界和下降算法来进一步了解深度网络的泛化能力。

Feb, 2021

鲁棒性和泛化性

基于稳健性的学习算法的普适性界限推导及其稳健性被证明是学习算法发挥作用的基本属性。

May, 2010

均匀时间 Wasserstein 稳定性界限用于（带噪）随机梯度下降

通过将学习理论与应用概率联系起来，引入了一种新的方法来证明随机优化算法的 Wasserstein 稳定性边界，并在强凸损失和带有附加噪声的非凸损失的情况下获得了时间均匀稳定性边界，其不随迭代次数增加而增加，并且证明了 Lyapunov 函数的重要性。

May, 2023

随机梯度下降的稳定性和泛化的精细分析

本文提供了一种算法 —— 随机梯度下降的稳定性和泛化性的细致分析，通过消除梯度有界性、减轻光滑性和凸性函数的限制，提出了新的稳定性度量，并开发了受 SGD 迭代的风险控制的新型约束，给出了受最佳模型行为影响的泛化范围，从而在低噪声环境下使用稳定性方法得到了第一个快速上界。

Jun, 2020

均匀稳定算法的更严格界限

这篇论文研究了学习理论中有关稳定算法的泛化界，通过构造一个弱相关随机变量的集中不等式，得到了一般性的集中界，使得上已知的高概率上界的泛化界水平得到了提高。

Oct, 2019