ICMLJun, 2023

ReLU 网络的隐藏对称性

PDF
TL;DR研究了前馈 ReLU 神经网络架构的参数空间，证明了对于没有窄于输入层的任何网络架构，都存在没有隐藏对称性的参数设置，并通过实验近似计算了不同网络架构在初始化时的功能维度。
feedforward relu neural networkshidden symmetriesnetwork architectureparameter settingsfunctional dimension
发现论文，激发创造
  • 神经网络学习对称函数的功能视角

    本文主要研究了定义在概率度量上的神经网络的学习和表示，通过研究不同正则化选择下的近似和泛化界限，建立了一个具有不同非线性学习程度的功能空间等级体系，从而解决了对称函数的泛化问题。

    Aug, 2020

  • 神经参数的对称性或不对称性的实证影响

    对深度学习中的参数对称性进行了实证研究，通过引入具有降低参数对称性的新型神经网络架构，采用两种可证明保证的方法对标准神经网络进行改进，进行了多任务的全面实验研究，发现参数对称性对模型的影响，包括线性模式连接性和贝叶斯神经网络训练速度和效果的提升。

    May, 2024

  • 深度 ReLU 网络的逆向工程

    本文证明了神经网络的体系结构、权重和偏差可以从其输出中恢复，对 ReLU 网络的线性片段进行分解，可以从某些预备知识和组件恢复出实际权重和排列。

    Oct, 2019

  • 深度 ReLU 神经网络中的几何引起的隐式正则化

    神经网络的隐式正则化现象与参数的几何特征密切相关，优化过程中更倾向于具有低批次功能维度的参数。网络的输入也对批次功能维度产生影响，输入的变化会改变批次功能维度的上限，称为可计算全功能维度，其估计收敛迅速且保持接近参数个数，可以与局部可辨识性相对应。与训练输入和测试输入相关的批次功能维度则由几何诱导的隐式正则化所影响。

    Feb, 2024

  • 探究 ReLU 网络如何编码对称性

    本研究探讨网络等变性是否意味着所有层都具有等变性。论文在理论和实验方面发现，CNN 是具有层间等变性的，这一发现支持最近 Entezari 及其合作者提出的置换猜想的一个弱化版本

    May, 2023

  • 深度网络中对称性的理解

    本研究针对深度网络权重空间中的对称性问题，探讨了使用基于单位范数的约束来改善权重空间对称性问题的方法，并通过 MNIST 数据集上的实验证明该方法优于批量归一化方法且不会影响权重更新的计算性能。

    Nov, 2015

  • 关于近似 ReLU 神经网络参数的增长

    对于具有最先进的逼近误差的 ReLU 结构，本研究的主要结果是其实现参数的增长至多是多项式的，与现有结果相比，在大多数情况下，特别是对于高维输入，该增长率优于现有结果。

    Jun, 2024

  • 关于 ReLU 神经网络的深度下界

    本研究使用混合整数优化、多面体理论、热带几何等技术探究神经网络单隐藏层能否学习到所有函数的普适逼近定理，为可表示函数的类提供了数学支持。同时，解决了 Wang 和 Sun (2005) 关于分段线性函数的一项猜想，并提出了表示具有对数深度函数所需神经网络的上限。

    May, 2021

  • 前向 ReLU 网络的解决方案理论探讨

    本文通过推导基本规则来解释前馈 ReLU 网络的机制，以解释工程网络架构，并提供了加强解决方案普遍性的几种方法。

    Jan, 2022

  • 从功能等效性的角度看前馈神经网络的复杂度

    研究了前馈神经网络的复杂性，通过功能等价的概念来探讨不同的网络参数化可以导致相同的功能，利用排列不变性来推导出前馈神经网络类的新型覆盖数界限，揭示了通过利用这个属性可以降低神经网络的复杂性，此外，通过参数空间的对称结构，证明适当的随机参数初始化策略可以增加优化收敛的概率，同时发现过度参数化的网络更容易训练，在增加神经网络的宽度方面可以导致有效参数空间体积的消失。这些发现为过度参数化提供了新的见解，并对深度学习中的一般化和优化有重要的影响。

    May, 2023