ICLRSep, 2019

带有认证网络的通用逼近

PDF
TL;DR本文证明了对于任何连续函数 f，都存在一个网络 n，使得 n 能够逼近 f 并在 n 中通过简单区间传播得到的在区间 B 上的输出结果能够任意接近 f 在 B 上的最优值。这个结果可视为针对间隔认证 ReLU 网络的通用逼近定理。据我们所知，这是首次证明存在准确的间隔认证网络。
neural networkscertifiable robustnessinterval bound propagationuniversal approximation theoremrelu networks
发现论文，激发创造
  • 全局鲁棒神经网络

    通过在网络中加入全局 Lipschitz 边界，文中提出的方法可以快速训练大型强健的神经网络，实现了可证明的最先进的可验证准确性。同时，该方法比最近的可证方法需要的时间和内存少得多，并在在线认证时产生可忽略的成本。

    Feb, 2021

  • 针对 ReLU 网络的对抗性样本的鲁棒性证书

    本文提出一种基于深度 ReLU 网络的攻击不可知的稳健性证书，用于多标签分类问题，通过利用 ReLU 网络的分段线性结构，提出了两个距离下界，分别为单纯形证书和决策边界证书，其中单纯形证书具有闭合形式，可微性和计算速度快的特点，并在 MNIST 数据集上验证其理论有效性。

    Feb, 2019

  • 有界深度神经网络中的 Lipschitz 逼近

    利用具有低 Lipschitz 常数的神经网络变体，证明了使用 FullSort 激活函数的三层神经网络是全范围 Lipschitz 函数逼近器（ULA），这为创建更好的有证明保证的机器学习模型铺平了道路。实验结果表明，ULA 不仅是一种新奇的方法，而且是提供有证明保障的分类器的一种有竞争力的方法。

    Apr, 2019

  • 神经网络的近似能力探究

    本文使用直接代数证明了通用逼近定理，进一步量化了逼近所需的隐层单元数，并且证明了在权重上施加限制下仍然保持均匀逼近性质。

    Feb, 2020

  • 使用随机浅层 ReLU 网络进行逼近，及其在模型参考自适应控制中的应用

    用 ReLU 网络和随机生成的权重和偏置，在高概率下达到高于所需精度的近似，填补了关于神经网络控制中的近似性质的证明缺失。

    Mar, 2024

  • 重新思考 Lipschitz 神经网络和认证鲁棒性：布尔函数视角

    通过用布尔函数表示方法，研究证明了标准 Lipschitz 网络无法在有限数据集和 Lipschitz 函数逼近上进行鲁棒分类。提出了一种新的 Lipschitz 网络方法并通过实验验证了鲁棒性。

    Oct, 2022

  • 使用高效的本地 Lipschitz 界限训练保证鲁棒神经网络

    本文提出了一种训练算法插件，可以有效地减小神经网络的局部 Lipschitz 上界，以提高神经网络的自然精度和可证明的精度之间的权衡，并在 MNIST、CIFAR-10 和 TinyImageNet 数据集上展示了该方法在不同网络结构下均能优于现有的最先进方法。[Simplified Chinese]

    Nov, 2021

  • 非紧致均匀普适逼近

    通过研究神经网络的一层隐藏层，我们发现所有在无穷远处趋于零的连续函数可以被具有渐近线性行为的非零连续激活函数的神经网络进行均匀逼近，并且我们确定了这些函数可被离散的 sigmoidal 函数的积的闭线性包所表示的代数结构。

    Aug, 2023

  • 一种通用逼近定理的初等证明

    本研究通过三个隐藏层和不断增强、连续、有界激活函数的神经网络提供了一种简单的方法来证明一种通用逼近定理。此结果相对于最佳结果较弱，但证明过程只使用了本科分析学的基础知识。

    Jun, 2024

  • 神经网络的普适逼近和无限维映射逼近统一保证

    本文讨论了使用无限维度神经网络进行非线性算子的普适逼近的问题，并证明了对于不同的无限维度神经网络，只要在拓扑上有些轻微的条件，就能近似地表示出任意连续算子，并提供了有限逼近无限神经网络所需的最小输入和输出单元的下界。

    Oct, 2019