ICMLMay, 2023

ReLU 网络的最优集合和解路径

PDF
TL;DR通过把非凸培训问题重新定义为凸程序，我们开发了一个分析框架来表征最佳 ReLU 神经网络的集合，并指出凸参数化的全局最优解是由一个多面体集合给出的。我们还扩展了这种特征，以获得非凸培训目标的最优集合。由于 ReLU 培训问题的所有静态点都可以表示为子采样凸计划的最优解，因此我们的工作为所有非凸目标的临界点提供了一个一般表达式。我们利用这些结果，提供了一种计算最小网络的最佳减枝算法，建立了 ReLU 网络正则化路径连续的条件，并开发了最小 ReLU 网络的灵敏度结果。
发现论文，激发创造
  • 通过凸优化实现两层之外深度 ReLU 网络的全局最优

    本研究通过凸优化理论分析发现，ReLU 神经网络通过一种隐含的正则化机制实现高维特征选择，并证明了该等价凸问题可以通过标准凸优化求解器在多项式时间内全局优化。

    Oct, 2021

  • ReLU 神经网络的凸松弛在多项式时间内近似全局最优

    本文研究了采用权重衰减正则化的两层 ReLU 网络与其凸松弛之间的最优性差距，揭示了在随机训练数据情况下原问题与其松弛之间相对最优性差距可以通过 O (√log n) 的因子进行界定，且应用简单的算法可在多项式时间内解决原非凸问题，此外，在合理假设下，随机初始化参数的局部梯度方法几乎必定收敛于训练损失较低点，此结果相对现有结果而言具有指数级改进，并对解释局部梯度方法为何行之有效提供了新的见解。

    Feb, 2024

  • 两层 ReLU 网络的快速凸优化：等价模型类和锥分解

    本文研究了基于 ReLU 激活函数的两层神经网络的凸优化及其群 lasso 正则化和加速近端梯度算法，该方法在 MNIST 和 CIFAR-10 数据集的图像分类方面表现良好。

    Feb, 2022

  • 神经网络是凸正则化器：两层神经网络的精确多项式时间凸优化公式

    本文中，我们利用半无限对偶及最小规范化，将使用修正线性单元的两层神经网络的训练准确表述为单一凸程序，其变量数量与训练样本数量和隐藏层神经元数量呈多项式关系，并证明使用标准权重衰减进行修正线性单元网络训练的等效于带块 $l_1$ 惩罚的凸模型。此外，我们还证明了某些标准卷积线性网络等效于半定程序，可以在多项式大小的离散傅里叶特征空间中简化为带 $l_1$ 正则化的线性模型。

    Feb, 2020

  • ReLU 网络的多线性结构

    通过谐波分析，证明了多数情况下，神经网络丧失了与具体雅可比的联系，只留下非可微的极小值，这是研究 ReLU 网络损失时的核心问题，因此需要使用非光滑分析技术来研究这些损失表面。

    Dec, 2017

  • 向量输出 ReLU 神经网络问题是共正规划：两层网络的凸分析与多项式时间算法

    这篇论文描述了两层向量输出 ReLU 神经网络训练问题的凸半无限对偶问题，利用它可以找到全局最优解，而神经网络隐式地尝试通过半非负矩阵分解解决共正程序。

    Dec, 2020

  • 理解 ReLU 网络的多阶段优化动态和丰富非线性行为

    本研究通过对 ReLU 神经网络的训练过程进行理论性分析，揭示了从随机初始化到最终收敛的整个优化过程，并发现了四个不同阶段，显示了一个从简单到复杂的总体趋势，此外还可以精确地识别和捕捉特定的非线性行为，如初始凝结、鞍点到高原动态、平台逃逸、激活模式的变化、学习随着复杂度的增加等现象。

    May, 2023

  • 深度 ReLU 网络的逆向工程：一种基于优化的算法

    通过凸优化技术和基于采样的方法，本研究提出了一种重建深度 ReLU 网络的新方法，以最小化重建网络输出与目标模型输出之间的差异为目标函数，并在需要时采用 L1 或 L2 正则化来鼓励稀疏或平滑解，为深度 ReLU 网络的反向工程和神经网络可解释性的新进展铺平了道路。

    Dec, 2023

  • ReLU 激活函数的神经网络参数化有多退化？

    研究神经网络的优化问题，发现常见的损失函数在实现空间上是凸的，通过使用神经网络的近似能力来处理非凸性问题，利用 Sobolev norm 来建立一种限制的参数化空间来实现反稳定性，并证明在受限制的参数化空间内优化仍然可以学习任何可通过无限制优化学习的函数。

    May, 2019

  • 浅层 ReLU$^k$ 神经网络的最优逼近速率及其在非参数回归中的应用

    研究了一些与浅层 ReLU$^k$ 神经网络相对应的变分空间的近似容量，证明了这些空间包含充分平滑的函数与有限变化范数。此外，还建立了以变化范数为基础的逼近率与神经元数量的最佳逼近率，并且证明了浅层 ReLU$^k$ 神经网络可以实现学习 H"older 函数的极小极值速率，而过参量化 (深或浅) 神经网络可以实现非参数回归的几乎最优速率。

    Apr, 2023