Apr, 2019

有界深度神经网络中的 Lipschitz 逼近

PDF
TL;DR利用具有低 Lipschitz 常数的神经网络变体，证明了使用 FullSort 激活函数的三层神经网络是全范围 Lipschitz 函数逼近器（ULA），这为创建更好的有证明保证的机器学习模型铺平了道路。实验结果表明，ULA 不仅是一种新奇的方法，而且是提供有证明保障的分类器的一种有竞争力的方法。
发现论文，激发创造
  • 重新思考 Lipschitz 神经网络和认证鲁棒性：布尔函数视角

    通过用布尔函数表示方法，研究证明了标准 Lipschitz 网络无法在有限数据集和 Lipschitz 函数逼近上进行鲁棒分类。提出了一种新的 Lipschitz 网络方法并通过实验验证了鲁棒性。

    Oct, 2022

  • 带有认证网络的通用逼近

    本文证明了对于任何连续函数 f，都存在一个网络 n，使得 n 能够逼近 f 并在 n 中通过简单区间传播得到的在区间 B 上的输出结果能够任意接近 f 在 B 上的最优值。这个结果可视为针对间隔认证 ReLU 网络的通用逼近定理。据我们所知，这是首次证明存在准确的间隔认证网络。

    Sep, 2019

  • 使用高效的本地 Lipschitz 界限训练保证鲁棒神经网络

    本文提出了一种训练算法插件，可以有效地减小神经网络的局部 Lipschitz 上界，以提高神经网络的自然精度和可证明的精度之间的权衡，并在 MNIST、CIFAR-10 和 TinyImageNet 数据集上展示了该方法在不同网络结构下均能优于现有的最先进方法。[Simplified Chinese]

    Nov, 2021

  • 深度神经网络的 Lipschitz 正则性：分析与高效估计

    本文提出了 AutoLip 和 SeqLip 两种神经网络架构方法的 Lipschitz 常数的自动上界估计算法，并探讨了这种算法在计算大型卷积和顺序神经网络时的使用情况和启发式技巧。我们提供了使用 PyTorch 环境的 AutoLip 实现，可以使用更精确的 Lipschitz 估计来更好地评估神经网络对小扰动的鲁棒性或进行正则化。

    May, 2018

  • 可训练激活函数和可控 Lipschitz 常数的深度神经网络

    本研究提出了一种变分框架来学习深度神经网络的激活函数，旨在增加网络的容量并控制输入输出关系的 Lipschitz 常数的上界，其中引入了线性 Lipschitz 常数的全局界限和一个基于级联线性激活函数的无穷维度变分问题，通过在激活参数上实施 l1 约束来减少了问题的维度，从而获得了稀疏的非线性激活函数，并在标准 ReLU 网络及其变化 PReLU 和 LeakyReLU 上进行了实验验证。

    Jan, 2020

  • 带有无界激励函数的神经网络是一种通用的逼近器

    通过 Fourier 分片定理、Radon 变换和 Parseval 关系，证明了带无界激活函数的神经网络仍然满足通用逼近性质，并且表明在反向传播后，Ridgelet 变换或 Radon 域中的反投影滤波器是神经网络学习到的内容。

    May, 2015

  • 1-Lipschitz 神经网络基于 N - 激活的表达更加丰富

    通过研究激活函数的角色，论文揭示了常用的激活函数以及两段式分段线性函数在表达函数时的局限性，并介绍了一种新的 N - 激活函数，证明其比目前流行的激活函数更具表达能力。

    Nov, 2023

  • 神经网络的近似能力探究

    本文使用直接代数证明了通用逼近定理，进一步量化了逼近所需的隐层单元数，并且证明了在权重上施加限制下仍然保持均匀逼近性质。

    Feb, 2020

  • 使用 Lipschitz 界限训练鲁棒神经网络

    通过设计一种基于交替方向乘子法的最优化方案来训练多层神经网络，同时鼓励通过保持其利普希茨常数来促进鲁棒性，从而解决基于输入的扰动的效应以及提高神经网络的鲁棒性。该文设计了两个训练程序，最终提供了两个例子来证明这种方法成功地提高了神经网络的鲁棒性。

    May, 2020

  • 一种通用逼近定理的初等证明

    本研究通过三个隐藏层和不断增强、连续、有界激活函数的神经网络提供了一种简单的方法来证明一种通用逼近定理。此结果相对于最佳结果较弱，但证明过程只使用了本科分析学的基础知识。

    Jun, 2024