May, 2019

通过 Lipschitz 增强评估深度神经网络的数据相关样本复杂度

PDF
TL;DR通过考虑网络的额外数据相关属性，如隐藏层的范数和每层相对于之前所有层的雅可比矩阵的范数，我们获得了更紧的基于 Rademacher 复杂度的界限。在实践中，我们直接通过规范化网络的雅可比矩阵来改善测试性能。
rademacher complexity boundsneural networksdata-dependent techniqueshidden layersjacobian
发现论文，激发创造
  • 神经网络的大小无关样本复杂度

    研究神经网络学习的样本复杂度，提供了关于每层参数矩阵范数约束的 Rademacher 复杂度的新界限，改进了前人的成果，并使用一些新技术获得了网络深度的改进关系，且在一些额外假设的情况下，完全独立于网络大小 (深度和宽度)。

    Dec, 2017

  • 深度神经网络的 Lipschitz 正则性：分析与高效估计

    本文提出了 AutoLip 和 SeqLip 两种神经网络架构方法的 Lipschitz 常数的自动上界估计算法，并探讨了这种算法在计算大型卷积和顺序神经网络时的使用情况和启发式技巧。我们提供了使用 PyTorch 环境的 AutoLip 实现，可以使用更精确的 Lipschitz 估计来更好地评估神经网络对小扰动的鲁棒性或进行正则化。

    May, 2018

  • 关于 ReLU 网络的样本复杂度的大小无关性研究

    本文研究了从推广的角度学习 ReLU 神经网络的样本复杂性，并结合权重矩阵上的范数限制，给出了与网络规模无关的上界，其中 Frobenius norms 为主要研究方向。

    Jun, 2023

  • 缩小差距：对健壮和标准泛化的 Rademacher 复杂性

    对深度神经网络进行对抗性示例训练通常导致对测试时的对抗数据泛化能力差，本论文通过 Rademacher 复杂度研究了这个问题，提出了上确界对于匹配标准设置中的最优上确界的 DNN 的对抗 Rademacher 复杂度，通过计算对抗函数类的覆盖数来解决核心挑战，并引入了一种新的覆盖数变体，称为 “均匀覆盖数”，以有效地填补稳健和标准泛化中的 Rademacher 复杂度差距。

    Jun, 2024

  • 深度神经网络的更紧密的泛化界限：卷积神经网络、ResNet 等

    我们通过引入一种新的神经网络族的 Lipschitz 属性的表征，建立了一种基于边际的数据相关的广泛深度神经网络泛化误差界限，将其与深度、宽度以及网络的雅可比矩阵联系起来。和现有的结果相比，我们实现了明显更紧的泛化下界，并且还表明，对于损失有界的情况，可以进一步改善泛化下界。除了一般的前馈深度神经网络外，我们的结果可以应用于推导流行的体系结构，包括卷积神经网络和残差网络。在实现与上一项艺术相同的泛化误差的同时，我们的误差允许选择更大的权重矩阵参数空间，从而为神经网络提供更强的表达能力。其中还提供了数值评估来支持我们的理论。

    Jun, 2018

  • 深度神经网络的 Lipschitz 常数的组合估计

    通过将大型矩阵验证问题的确切分解为较小的子问题，我们提供了一种用于估计深度前馈神经网络的 Lipschitz 常数的组合方法。通过数值实验证明，我们的方法在计算时间上大大降低，同时产生的 Lipschitz 界限接近于最先进的方法。

    Apr, 2024

  • 使用 Lipschitz 界限训练鲁棒神经网络

    通过设计一种基于交替方向乘子法的最优化方案来训练多层神经网络，同时鼓励通过保持其利普希茨常数来促进鲁棒性，从而解决基于输入的扰动的效应以及提高神经网络的鲁棒性。该文设计了两个训练程序，最终提供了两个例子来证明这种方法成功地提高了神经网络的鲁棒性。

    May, 2020

  • 神经网络中的深度分离：将维度分离出来与准确性

    证明了在满足条件的情况下，当用深度为 2 和深度为 3 的神经网络来近似一个在 [0,1]^d 上与 Lipschitz 目标函数的 constant 精度相等的分布时，存在指数级的差距。

    Feb, 2024

  • 使用高效的本地 Lipschitz 界限训练保证鲁棒神经网络

    本文提出了一种训练算法插件，可以有效地减小神经网络的局部 Lipschitz 上界，以提高神经网络的自然精度和可证明的精度之间的权衡，并在 MNIST、CIFAR-10 和 TinyImageNet 数据集上展示了该方法在不同网络结构下均能优于现有的最先进方法。[Simplified Chinese]

    Nov, 2021

  • 对抗鲁棒泛化的 Rademacher 复杂度

    本文主要研究了机器学习模型的鲁棒性问题，特别是针对 l∞ 攻击所造成的影响，并考察了基于 Rademacher 复杂度的鲁棒泛化问题。研究表明，通过限制权重矩阵的 l1 范数可能是提高在对抗环境下的泛化性能的有效方法。

    Oct, 2018