具有健壮泛化保证的自适应学习

Feb, 2016

Adaptive Learning with Robust Generalization Guarantees

Rachel Cummings, Katrina Ligett, Kobbi Nissim, Aaron Roth, Zhiwei Steven Wu

TL;DR研究三种不同强度的泛化理论 —— 稳健泛化、差分隐私和完美泛化的关系，并证明了每个假设类都可以在稳健泛化的情况下进行 PAC 学习，具有相近的样本复杂度。

Abstract

The traditional notion of generalization---i.e., learning a hypothesis whose empirical error is close to its true error---is surprisingly brittle. As has recently been noted in [DFH+15b], even if several algorithms have this guarantee in isolation, the guarantee need not hold if the al

generalization adaptivity pac learning differential privacy sample complexity

发现论文，激发创造

鲁棒性和泛化性

基于稳健性的学习算法的普适性界限推导及其稳健性被证明是学习算法发挥作用的基本属性。

May, 2010

随机深度学习算法的集成鲁棒性和泛化能力

本研究探讨深度学习算法为何能很好地泛化，进一步提出了针对假设强度的鲁棒性方法 —— 集成鲁棒性，并发现只要随机算法对于对抗性扰动的敏感性受到训练样本均值的限制，它就能很好地泛化，而本文提供的大量模拟验证了集成鲁棒性和泛化能力之间的强相关性。

Feb, 2016

对抗鲁棒性泛化需要更多数据

本文研究在简单自然数据模型中，对抗鲁棒学习的样本复杂度可以显著大于标准学习，这个差距是信息理论的，且与训练算法或模型家族无关。作者做了一些实验来证实这个结果。我们可以假设训练鲁棒分类器的困难，至少部分来自这种固有的更大的样本复杂度。

Apr, 2018

迭代差分隐私学习算法的更紧广义界限

探讨迭代学习算法中泛化和隐私保护之间的关系，提出了一种新的方法来同时增强隐私保护和泛化，并给出了具有广泛适用性的一般化界限。

Jul, 2020

几乎处处算法稳定性与泛化误差

探讨了算法稳定性作为分析学习算法泛化误差的可行框架的概念。引入了学习算法训练稳定性的新概念，并证明在一般情况下它足以得到泛化误差的好界。在 PAC 设置中，训练稳定性在可学习性上既是必要的也是充分的。基于训练稳定性的方法不涉及 VC 维或 VC 熵，不需要证明一致收敛，而广义 McDiarmid 不等式可直接限制泛化误差。因此，它可能使我们处理比经验风险最小化更广泛的学习算法类。还探讨了 VC 维、泛化误差和各种稳定性概念之间的关系，并考虑了几个学习算法的例子。

Dec, 2012

鲁棒性意味着数据相关的泛化界限推广

通过数据相关的广义界限，证明了健壮性意味着泛化。我们提出了几个例子，包括 Lasso 和深度学习，证明了我们的界限是明显优于以前的界限的。技术创新包括针对多项式随机变量的改进的浓缩界限。

Jun, 2022

通过更多无标签数据来提升对抗鲁棒泛化能力

本文研究了神经网络对抗性鲁棒性问题，通过理论和实验结果表明，增加未标记数据的使用，可以提高抗干扰泛化性能，并提出一种算法在 MNIST 和 Cifar-10 上的对抗训练方法。

Jun, 2019

度量学习的鲁棒性和泛化性

本文介绍了一种算法鲁棒性的概念来推导度量学习的泛化界限，并且证明了弱稳健性是度量学习算法泛化的必要且充分条件，从而扩展了现有度量学习算法的泛化结果。

Sep, 2012

基于数据驱动的经典优化器和学习优化器的性能保证

介绍了一种数据驱动的方法，利用统计学习理论的泛化保证来分析连续优化算法的性能。研究经典优化器和学习优化器来解决参数优化问题的族群。建立了经典优化器的泛化保证，利用样本收敛界限，以及学习优化器的泛化保证，利用 Probably Approximately Correct (PAC)-Bayes 框架。通过使用基于梯度的算法直接最小化 PAC-Bayes 上界来训练学习优化器。在信号处理、控制和元学习的数值实验中展示了我们的框架能够在固定迭代预算的情况下为经典和学习优化器提供强大的泛化保证。对于经典优化器而言，我们的界限比最坏情况保证的界限要严格得多。对于学习优化器而言，我们的上界优于观察到的非学习对应的实际结果。

Apr, 2024

拆分对抗鲁棒性与泛化

为了解决网络鲁棒性和泛化性之间的矛盾问题，研究通过对数据流形的研究证明对流形上对抗性样本的限制可以提高模型泛化能力且鲁棒性和泛化性并不矛盾。

Dec, 2018