随机深度学习算法的集成鲁棒性和泛化能力

Feb, 2016

随机深度学习算法的集成鲁棒性和泛化能力

Ensemble Robustness and Generalization of Stochastic Deep Learning Algorithms

Tom Zahavy, Bingyi Kang, Alex Sivak, Jiashi Feng, Huan Xu...

TL;DR本研究探讨深度学习算法为何能很好地泛化，进一步提出了针对假设强度的鲁棒性方法 —— 集成鲁棒性，并发现只要随机算法对于对抗性扰动的敏感性受到训练样本均值的限制，它就能很好地泛化，而本文提供的大量模拟验证了集成鲁棒性和泛化能力之间的强相关性。

Abstract

The question why deep learning algorithms generalize so well has attracted increasing research interest. However, most of the well-established approaches, such as hypothesis capacity, stability or sparseness, have not provided complete explanations (Zhang et al., 2016; Kawaguchi et al.

deep learning generalization robustness stochastic algorithms ensemble

发现论文，激发创造

深度学习中的泛化

本文提供深度学习为何能够进行很好的泛化的理论洞察，同时探讨了为深度学习提供有效泛化保证的方法并提出了新的开放性问题与讨论了原有结果的限制。

Oct, 2017

数量大于强度：通过对抗训练的集合优化鲁棒性和计算效率

通过对对抗样本的数据增广训练神经网络模型，以提高模型的抗干扰性，并发现通过将小型模型构成的集成模型一起进行对抗训练相比使用单个大模型的训练更有效。而重点在于对整个集成模型的对抗训练，而不是只对每个模型进行对抗训练。

Nov, 2018

具有健壮泛化保证的自适应学习

研究三种不同强度的泛化理论 —— 稳健泛化、差分隐私和完美泛化的关系，并证明了每个假设类都可以在稳健泛化的情况下进行 PAC 学习，具有相近的样本复杂度。

Feb, 2016

鲁棒性和泛化性

基于稳健性的学习算法的普适性界限推导及其稳健性被证明是学习算法发挥作用的基本属性。

May, 2010

拆分对抗鲁棒性与泛化

为了解决网络鲁棒性和泛化性之间的矛盾问题，研究通过对数据流形的研究证明对流形上对抗性样本的限制可以提高模型泛化能力且鲁棒性和泛化性并不矛盾。

Dec, 2018

对抗鲁棒性泛化需要更多数据

本文研究在简单自然数据模型中，对抗鲁棒学习的样本复杂度可以显著大于标准学习，这个差距是信息理论的，且与训练算法或模型家族无关。作者做了一些实验来证实这个结果。我们可以假设训练鲁棒分类器的困难，至少部分来自这种固有的更大的样本复杂度。

Apr, 2018

基于模型的鲁棒深度学习：泛化到自然的离群数据

文章提出了从基于扰动的对抗鲁棒性转向基于模型的鲁棒深度学习的新范式，并探讨了使用深度生成模型来学习自然变化模型并进一步提高深度学习对于自然变化的鲁棒性的三种新型算法，实验表明，该方法在自然情况下能够超越标准深度学习算法和基于范数的鲁棒深度学习算法。

May, 2020

深度学习中鲁棒性泛化为何困难：表现能力的视角

本文从深度神经网络的表达能力角度出发，研究了针对现代神经网络的对抗样本问题解决方法的普适性，提出了分析鲁棒性泛化间难以弥合距离的矛盾问题的理论框架。

May, 2022

深度学习的超出单一模型视图：随机优化算法的优化与泛化能力

本文采用一种新方法，通过估计随机优化器的稳态分布，从多条优化轨迹的集合中综合评估，旨在解决当前对深度学习优化算法有效性的理解不完整的问题。通过合成函数和计算机视觉、自然语言处理等领域的实际问题的评估，我们着重在统计框架下进行公平的基准测试和建立统计显著性，揭示了训练损失与保持精确度之间的关系以及 SGD、噪声使能变体和利用 BH 框架的新优化器的可比性能，值得注意的是，这些算法展示了与 SAM 等平坦最小值优化器相当的性能，但梯度评估减少了一半。我们期待我们的工作将促进深度学习优化的进一步探索，鼓励从单模型方法转向更加认识和利用优化器的随机性质的方法。

Mar, 2024

随机集成的对抗性漏洞

本文介绍了在深度学习领域中，随机集合相较于标准对抗训练具有更强的鲁棒性，而本文提出的理论框架证明了该观察结果的可靠性，同时改进的对抗攻击算法也被提出。

Jun, 2022