Jun, 2024

ReLU网络输入优化的激活-下降正则化

HTML
PDF
TL;DR我们提出了一种新的ReLU网络输入优化方法，明确考虑了激活模式变化的影响。我们分析了输入空间和激活模式空间中的局部优化步骤，提出了具有优越局部下降性质的方法。为了实现这一目标，我们将激活模式的离散空间转化为可微分表示，并提出了改进每个下降步骤的正则化项。我们的实验证明了所提出的输入优化方法在对抗学习、生成建模和强化学习等各个领域中提升了最新技术的有效性。
发现论文，激发创造
  • 具有高斯输入的 ConvNet 的全局最优梯度下降

    在神经网络模型中，使用Gradient descent算法时，当输入分布满足高斯分布时，使用Convolutional neural network和ReLU activations的神经网络模型可以在多项式时间内收敛于全局最优点。但是，我们证明了这种情况下学习是NP完全问题。

    Feb, 2017

  • 通过梯度下降学习具有一层ReLU的神经网络

    本文研究从标准高斯分布采样输入，从嘈杂的教师网络生成输出的一层隐藏神经网络的学习问题。研究分析了梯度下降在基于经验风险最小化的训练中的性能，并提供了算法相关的保证，证明了张量初始化后跟随梯度下降可以以线性速率收敛到地面真值参数，证明本文是第一个表征实际学习具有多个神经元的一层ReLU网络的恢复保证的工作。数值实验验证了我们的理论发现。

    Jun, 2018

  • 线性可分数据上的ReLU网络学习：算法，最优性和泛化

    本文提出了一种新的随机梯度下降算法，利用随机噪声扰动，无需任何假设于数据分布、网络大小和训练集大小，就能够证明地达到单隐藏层ReLU网络的全局最优性，同时提出了一些一般的泛化保证，此外，数值测试结果也验证了算法和理论的实用性。

    Aug, 2018

  • 深度的ReLU网络具有惊人地少的激活模式

    本文研究表明，深度神经网络的理论表达能力与实际学习能力存在较大差距，即使在初始化和训练期间模型中的激活模式数量也呈现出一定限制，这可能限制了现有方法实现深度神经网络的全部表达能力。

    Jun, 2019

  • 深层门控网络：深度学习训练和泛化的框架理解

    通过深门控网络作为框架，理论分析和实验验证了几种DGNs变体，阐述了深度神经网络的训练和泛化方面的问题，着重讨论了为什么增加深度能帮助训练到一定程度，而增加深度会伤害训练，以及证明了门控自适应在泛化中的关键作用。

    Feb, 2020

  • ReLU网络中批归一化的解析：等价的凸优化模型与隐式正则化

    本文通过凸优化的视角分析Batch Normalization，提出了一个基于凸对偶的解析框架，可以精确地描述用Batch Normalization训练的带有权重衰减的ReLU网络，并证明在高维和过参数化情况下，理论上可以获得一些简单的解析的最优层权重和可训练的凸约束优化问题，并发现梯度下降给标准的非凸BN网络提供了算法偏差效应，通过我们的方法可以将这种隐式正则化显性编码到凸目标中，实验结果表明该方法可以模拟和显著提高标准BN网络的性能。

    Mar, 2021

  • 通过凸优化实现两层之外深度ReLU网络的全局最优

    本研究通过凸优化理论分析发现，ReLU神经网络通过一种隐含的正则化机制实现高维特征选择，并证明了该等价凸问题可以通过标准凸优化求解器在多项式时间内全局优化。

    Oct, 2021

  • 两层ReLU网络的快速凸优化：等价模型类和锥分解

    本文研究了基于ReLU激活函数的两层神经网络的凸优化及其群lasso正则化和加速近端梯度算法，该方法在MNIST和CIFAR-10数据集的图像分类方面表现良好。

    Feb, 2022

  • 解析训练二层ReLU网络

    本文研究两层神经网络的ReLU激活函数和平方损失函数的优化方法，利用一种交替迭代算法寻找损失函数的关键点，实验结果显示该算法能够比随机梯度下降和Adam优化器更快、更准确地求解深度值，并且该方法没有调参困扰。

    Apr, 2023

  • 神经特征激活值分析以提高ReLU网络特征学习

    本文研究神经网络中individual ReLU units的characteristic activation values，提出ReLU unit的characteristic activation set与ReLU networks中的learned features之间的联系，由此推导出新的洞见——哪些现代深度学习中的规范化技术可用于正则化和稳定化SGD优化，最后提出几何方法用于对ReLU网络进行参数化以提高特征学习。实验证明该方法可通过简单调整初始化策略和更大的学习速率来提高优化稳定性、收敛速度和泛化性能。

    May, 2023