May, 2024

判定 ReLU 神经网络的单射性和满射性的复杂度

PDF
TL;DR对于具有 ReLU 激活的神经网络的验证，本研究表明了判断单层 ReLU 层的单射性是 coNP 完备问题，但提出了一个基于参数化算法，使得问题相对于输入维度具有固定参数可跟踪性，并且表征了具有一维输出的两层 ReLU 网络的满射性问题与基本网络验证任务相反，揭示出与计算凸性的有趣联系。
neural networksrelu activationverificationinjectivitysurjectivity
发现论文，激发创造
  • 全局单射 ReLU 网络

    本文探讨了深度神经网络中全连接和卷积层的可逆性和稳定性，指出了扩张性因子对网络可逆性的必要性和充分性，证明了任何 Lipschitz 映射都可以近似为可逆的 ReLU 网络，并提出了一个基于随机投影的全局可逆性模型。

    Jun, 2020

  • 全局可逆和双射的神经算子

    本文研究了运算符学习及其在神经网络中的应用，讨论了学习的运算符是单射和满射的情况，得出了一些充分条件。文章证明了所提供的单射神经运算符是通用逼近器，其有限秩神经网络实现仍然是单射的，最后还考虑了子网络的单射和满射性及其在贝叶斯不确定性和反问题中的应用。

    Jun, 2023

  • ReLU 层的凸几何、球上的单射和局部重构

    本论文使用框架理论的设置来研究 ReLU 层在闭球上及其非负部分的可进性问题，特别强调了球的半径和偏置向量之间的相互作用。通过凸几何的视角，结合在偏置向量的上界方面的合理限制，得到了一种可计算的验证 ReLU 层可进性的方法。我们提供了明确的重构公式，灵感来自框架理论的对偶概念。所有这些使得量化 ReLU 层的可逆性成为可能，并为球上任意输入向量提供了具体的重构算法。

    Jul, 2023

  • ReLU 层的可逆性：基于框架理论的视角

    本文基于框架理论视角，研究了 ReLU 层的可插入性行为，并提出了两种数值逼近方法以确定给定权重和数据域的最大偏差，从而揭示了 ReLU 层中信息丢失的新实用方法。最后，基于框架理论的对偶概念，推导出了显式重构公式。

    Jun, 2024

  • 训练 ReLU 神经网络的复杂度

    本文探讨了采用 ReLU 激活函数训练神经网络的复杂度问题，研究表明在神经元构架固定的情况下，两层 ReLU 神经网络的训练是 NP - 难问题，但在第一隐藏层提供足够的超参数时，可以通过多项式时间算法找到合适的权重。

    Sep, 2018

  • 使用 ReLU 激活函数的神经网络可达集计算与安全验证

    该论文探讨了一类由 ReLU 激活函数构成的神经网络的输出可达集计算和安全验证问题，并提出了一种逐层计算输出可达集的方法，通过计算输出可达集的结果，可以通过检查不安全区域与由一组多面体描述的输出可达集的交集来执行简单有效的安全验证。

    Dec, 2017

  • ReLU 神经网络的拓扑表现力

    通过拓扑学的角度研究了 ReLU 神经网络在二分类问题中的表达能力。研究结果揭示，深层 ReLU 神经网络在拓扑简化方面远比浅层网络强大，这从数学上解释了为何深层网络更适用于处理复杂和拓扑丰富的数据集。

    Oct, 2023

  • 神经网络中的鲁棒性验证

    我们研究了神经网络计算的形式验证问题，探讨了其各种鲁棒性和最小化问题。我们提供了一个理论框架，使我们能够在神经网络中转换安全性和效率问题，并分析它们的计算复杂性。我们发现，在半线性设置中，对于分段线性激活函数和使用求和或最大度量时，大多数问题都属于 P 类或最多属于 NP 类。

    Mar, 2024

  • 面向 Relu 网络的快速计算认证鲁棒性

    本文提供了两种计算和证明最小失真非平凡下界的算法 Fast-Lin 和 Fast-Lip，可以用于解决具有 ReLU 结构的神经网络的鲁棒性问题。相比于现有的解决方法，这两种方法计算速度更快，下界的质量更高，同时作者还证明了除非 NP=P，否则无法用多项式时间算法求解最小的 l1 失真。

    Apr, 2018

  • 神经网络训练与 ETR 的复杂度：有效连续函数扩展

    本文研究了使用不同激活函数定义的神经网络的训练问题的复杂性，证明了 sigmoid 激活函数导致的训练问题多项式时间可约化到存在性理论中，但是对于正弦激活函数的训练问题是不可判定的，并给出了限制条件下的训练问题的复杂性的上界。

    May, 2023