Jul, 2023

ReLU 层的凸几何、球上的单射和局部重构

PDF
TL;DR本论文使用框架理论的设置来研究 ReLU 层在闭球上及其非负部分的可进性问题，特别强调了球的半径和偏置向量之间的相互作用。通过凸几何的视角，结合在偏置向量的上界方面的合理限制，得到了一种可计算的验证 ReLU 层可进性的方法。我们提供了明确的重构公式，灵感来自框架理论的对偶概念。所有这些使得量化 ReLU 层的可逆性成为可能，并为球上任意输入向量提供了具体的重构算法。
发现论文，激发创造
  • ReLU 层的可逆性：基于框架理论的视角

    本文基于框架理论视角，研究了 ReLU 层的可插入性行为，并提出了两种数值逼近方法以确定给定权重和数据域的最大偏差，从而揭示了 ReLU 层中信息丢失的新实用方法。最后，基于框架理论的对偶概念，推导出了显式重构公式。

    Jun, 2024

  • 全局单射 ReLU 网络

    本文探讨了深度神经网络中全连接和卷积层的可逆性和稳定性，指出了扩张性因子对网络可逆性的必要性和充分性，证明了任何 Lipschitz 映射都可以近似为可逆的 ReLU 网络，并提出了一个基于随机投影的全局可逆性模型。

    Jun, 2020

  • 完全连接 ReLU 层的几何结构

    通过对神经网络中全连接 ReLU 层的几何结构进行形式化和解释，我们提出了 ReLU 层参数对输入域的自然划分，使得在每个划分区域内，ReLU 层可以大大简化；这导致了一个几何解释：ReLU 层可以看作是一个多面角投影，然后跟随一个仿射变换，与具有 ReLU 激活的卷积网络的描述一致。此结构进一步简化了描述分类问题中决策边界的划分区域和超平面的原像的表达式。我们详细研究了具有一个隐藏 ReLU 层的前馈网络，提供了关于此类网络生成决策边界的几何复杂性的结果，并证明除了仿射变换外，这样的网络只能生成 d 个不同的决策边界。最后，我们还讨论了向网络添加更多层的影响。

    Oct, 2023

  • 判定 ReLU 神经网络的单射性和满射性的复杂度

    对于具有 ReLU 激活的神经网络的验证，本研究表明了判断单层 ReLU 层的单射性是 coNP 完备问题，但提出了一个基于参数化算法，使得问题相对于输入维度具有固定参数可跟踪性，并且表征了具有一维输出的两层 ReLU 网络的满射性问题与基本网络验证任务相反，揭示出与计算凸性的有趣联系。

    May, 2024

  • 两层 ReLU 网络的快速凸优化：等价模型类和锥分解

    本文研究了基于 ReLU 激活函数的两层神经网络的凸优化及其群 lasso 正则化和加速近端梯度算法，该方法在 MNIST 和 CIFAR-10 数据集的图像分类方面表现良好。

    Feb, 2022

  • 用尺度不变神经网络逼近正齐次函数

    通过 ReLu 网络，我们研究解决线性逆问题的可能性。我们证明了使用一个隐藏层的 ReLu 网络无法恢复 1 稀疏向量，但通过两个隐藏层可以以任意精度和任意稀疏度稳定地进行近似恢复，并且我们还将结果推广到包括低秩矩阵恢复和相位恢复在内的更广泛的恢复问题。此外，我们还考虑了使用神经网络来近似一般的正齐次函数，并且我们的结果解释了神经网络在逆问题中通常具有非常大的利普希茨常数，但在对抗性噪声下表现良好的前期矛盾。

    Aug, 2023

  • 全局可逆和双射的神经算子

    本文研究了运算符学习及其在神经网络中的应用，讨论了学习的运算符是单射和满射的情况，得出了一些充分条件。文章证明了所提供的单射神经运算符是通用逼近器，其有限秩神经网络实现仍然是单射的，最后还考虑了子网络的单射和满射性及其在贝叶斯不确定性和反问题中的应用。

    Jun, 2023

  • 关于 ReLU 神经网络的深度下界

    本研究使用混合整数优化、多面体理论、热带几何等技术探究神经网络单隐藏层能否学习到所有函数的普适逼近定理，为可表示函数的类提供了数学支持。同时，解决了 Wang 和 Sun (2005) 关于分段线性函数的一项猜想，并提出了表示具有对数深度函数所需神经网络的上限。

    May, 2021

  • 关于多层 ReLU 网络相关的 Banach 空间：函数表示、逼近理论和梯度下降动态

    本文提出了适用于 ReLU 神经网络的 Banach 空间，其中包含了所有有限全连接 L 层网络及其 L^2 - 极限对象，具有低的 Rademacher 复杂性和良好的泛化特性，函数可以通过多层神经网络进行近似，收敛速率与维度无关。

    Jul, 2020

  • 一层隐藏层神经网络的恢复保证

    本文考虑使用单隐藏层神经网络模型去解决回归问题，探讨了激活函数的属性，比如 ReLU、leaky ReLU、sigmoid 等都满足局部强凸性。文中还提出了使用张量方法对参数进行初始化，并配合梯度下降算法使用来解决回归问题。最终达到了使用线性的输入维数和对数精度计算复杂度的样本复杂性和计算复杂性要求。

    Jun, 2017