使用 ReLU 激活函数的循环神经网络的路径归一化优化

May, 2016

使用 ReLU 激活函数的循环神经网络的路径归一化优化

Path-Normalized Optimization of Recurrent Neural Networks with ReLU Activations

Behnam Neyshabur, Yuhuai Wu, Ruslan Salakhutdinov, Nathan Srebro

TL;DR研究了循环神经网络参数空间的几何形状，并开发了一种适应于该几何形状的路径 - SGD 优化方法，它可以学习具有 ReLU 激活的普通 RNN。在一些需要捕捉长期依赖结构的数据集上，我们证明 path-SGD 可以显著提高 ReLU RNN 的可训练性，与使用 SGD 训练的 RNN 相比，即使使用各种最近推荐的初始化方案。

Abstract

We investigate the parameter-space geometry of recurrent neural networks (RNNs), and develop an adaptation of path-sgd optimization method, attuned to this geometry, that can learn plain RNNs with →

recurrent neural networks path-sgd optimization relu activations long-term dependency structure trainability

发现论文，激发创造

在其正比不变空间中优化 ReLU 神经网络的 G-SGD

本文研究如何构建一种新的向量空间，以更好地促进神经网络的优化，证明了所有路径值向量足以表示神经网络，引入了正比例变换群来提高神经网络优化的效率与性能。

Feb, 2018

神经特征激活值分析以提高 ReLU 网络特征学习

本文研究神经网络中 individual ReLU units 的 characteristic activation values，提出 ReLU unit 的 characteristic activation set 与 ReLU networks 中的 learned features 之间的联系，由此推导出新的洞见 —— 哪些现代深度学习中的规范化技术可用于正则化和稳定化 SGD 优化，最后提出几何方法用于对 ReLU 网络进行参数化以提高特征学习。实验证明该方法可通过简单调整初始化策略和更大的学习速率来提高优化稳定性、收敛速度和泛化性能。

May, 2023

采用 ReLU 非线性激活函数优化循环神经网络性能

本文针对使用 ReLU 非线性函数的循环神经网络提出一种修改后的权重初始化策略，并通过三个长期时间结构遵循的玩具问题以及一个基准动作识别问题的实验结果证实了该策略的有效性。

Nov, 2015

随机梯度下降优化超参数化的深度 ReLU 网络

研究如何使用 ReLU 激活函数、梯度下降和随机梯度下降来训练深度神经网络，证明在一定条件下，充分的随机权重初始化能够让这些方法在超参数化的深层 ReLU 网络上达到全局最小值。

Nov, 2018

ReLU 网络的最优集合和解路径

通过把非凸培训问题重新定义为凸程序，我们开发了一个分析框架来表征最佳 ReLU 神经网络的集合，并指出凸参数化的全局最优解是由一个多面体集合给出的。我们还扩展了这种特征，以获得非凸培训目标的最优集合。由于 ReLU 培训问题的所有静态点都可以表示为子采样凸计划的最优解，因此我们的工作为所有非凸目标的临界点提供了一个一般表达式。我们利用这些结果，提供了一种计算最小网络的最佳减枝算法，建立了 ReLU 网络正则化路径连续的条件，并开发了最小 ReLU 网络的灵敏度结果。

May, 2023

通过梯度下降学习具有一层 ReLU 的神经网络

本文研究从标准高斯分布采样输入，从嘈杂的教师网络生成输出的一层隐藏神经网络的学习问题。研究分析了梯度下降在基于经验风险最小化的训练中的性能，并提供了算法相关的保证，证明了张量初始化后跟随梯度下降可以以线性速率收敛到地面真值参数，证明本文是第一个表征实际学习具有多个神经元的一层 ReLU 网络的恢复保证的工作。数值实验验证了我们的理论发现。

Jun, 2018

线性可分数据上的 ReLU 网络学习：算法，最优性和泛化

本文提出了一种新的随机梯度下降算法，利用随机噪声扰动，无需任何假设于数据分布、网络大小和训练集大小，就能够证明地达到单隐藏层 ReLU 网络的全局最优性，同时提出了一些一般的泛化保证，此外，数值测试结果也验证了算法和理论的实用性。

Aug, 2018

Path-SGD：深度神经网络中的路径归一化优化

本文重新审视了使用 SGD 来训练深度神经网络的选择，通过重新考虑优化权重时所适当的几何方式，提出了一种几何不变，不受权重重放缩影响的 Path-SGD 方法，并结合与最大范数正则化相关的基于路径的正则化器，使用这种近似的最陡梯度下降方法，以改进 SGD 和 AdaGrad 的效果。

Jun, 2015

关于训练循环神经网络的收敛速率

本文研究了如何在训练多层神经网络时，通过采用类局部搜索方法（如随机梯度下降）避免陷入不良局部最小值，在给定非凸非光滑结构的情况下，它们如何适应随机标签；研究了在神经网络中如何使用 ReLU 激活函数避免指数梯度爆炸或消失；通过构建扰动理论，该理论可用于分析 ReLU 激活的多层网络的一阶数学逼近。

Oct, 2018

单神经元 ReLU 网络的支持向量和梯度动态

通过研究单神经元 ReLU 网络的梯度流动力学，发现了支持向量的隐式偏差，这在解释 ReLU 网络为何具有良好的泛化能力中起着关键作用；此外，证明了对于二维情况下单个神经元的全局收敛性，并分析了在梯度流的条件下学习权重范数的严格增长。

Feb, 2022