May, 2023

神经特征激活值分析以提高ReLU网络特征学习

HTML
PDF
TL;DR本文研究神经网络中individual ReLU units的characteristic activation values，提出ReLU unit的characteristic activation set与ReLU networks中的learned features之间的联系，由此推导出新的洞见——哪些现代深度学习中的规范化技术可用于正则化和稳定化SGD优化，最后提出几何方法用于对ReLU网络进行参数化以提高特征学习。实验证明该方法可通过简单调整初始化策略和更大的学习速率来提高优化稳定性、收敛速度和泛化性能。
发现论文，激发创造
  • 卷积网络中修正的激活函数的实证评估

    本文通过评估不同类型的修正线性单元rectified activation functions（包括：标准修正线性单元（ReLU），泄漏修正线性单元（Leaky ReLU），参数修正线性单元（PReLU）以及随机泄漏修正线性单元（RReLU））在图像分类任务中的表现，结论表明，对修正激活单元中的负部分引入非零斜率可以始终改善结果，从而推翻了稀疏性是ReLU良好性能的关键的常见信念。另外，在小规模数据集上，使用确定性的负斜率或学习固定斜率都容易过拟合，使用随机斜率则更为有效。通过使用RReLU，我们在CIFAR-100测试集上实现了75.68％的准确度（无多次测试或集合）。

    May, 2015

  • 通过梯度下降学习具有一层ReLU的神经网络

    本文研究从标准高斯分布采样输入，从嘈杂的教师网络生成输出的一层隐藏神经网络的学习问题。研究分析了梯度下降在基于经验风险最小化的训练中的性能，并提供了算法相关的保证，证明了张量初始化后跟随梯度下降可以以线性速率收敛到地面真值参数，证明本文是第一个表征实际学习具有多个神经元的一层ReLU网络的恢复保证的工作。数值实验验证了我们的理论发现。

    Jun, 2018

  • 线性可分数据上的ReLU网络学习：算法，最优性和泛化

    本文提出了一种新的随机梯度下降算法，利用随机噪声扰动，无需任何假设于数据分布、网络大小和训练集大小，就能够证明地达到单隐藏层ReLU网络的全局最优性，同时提出了一些一般的泛化保证，此外，数值测试结果也验证了算法和理论的实用性。

    Aug, 2018

  • 深层门控网络：深度学习训练和泛化的框架理解

    通过深门控网络作为框架，理论分析和实验验证了几种DGNs变体，阐述了深度神经网络的训练和泛化方面的问题，着重讨论了为什么增加深度能帮助训练到一定程度，而增加深度会伤害训练，以及证明了门控自适应在泛化中的关键作用。

    Feb, 2020

  • 发现参数激活函数

    本文提出了一种使用进化搜索和梯度下降优化参数的方法来自动定制激活函数，实现对深度学习网络性能的可靠优化，验证结果表明该方法可以用作新任务的自动优化步骤。

    Jun, 2020

  • 使用标准化层训练的ReLU神经网络的优化理论

    本文研究了引入规范化层对神经网络的全局收敛速度和优化效果的影响，证明了在引入Weight Normalization后，具有ReLU激活函数的两层神经网络可以加速收敛。

    Jun, 2020

  • 通过凸优化实现两层之外深度ReLU网络的全局最优

    本研究通过凸优化理论分析发现，ReLU神经网络通过一种隐含的正则化机制实现高维特征选择，并证明了该等价凸问题可以通过标准凸优化求解器在多项式时间内全局优化。

    Oct, 2021

  • 两层ReLU网络的快速凸优化：等价模型类和锥分解

    本文研究了基于ReLU激活函数的两层神经网络的凸优化及其群lasso正则化和加速近端梯度算法，该方法在MNIST和CIFAR-10数据集的图像分类方面表现良好。

    Feb, 2022

  • ReLU缓解NTK条件数并加速宽神经网络的优化

    本文研究了修正线性单元（ReLU）在神经网络中的作用，证明了ReLU能够提高神经网络的数据分离效果和提升神经切向核的条件数，进而改善了学习的收敛速率。

    May, 2023

  • ReLU网络输入优化的激活-下降正则化

    我们提出了一种新的ReLU网络输入优化方法，明确考虑了激活模式变化的影响。我们分析了输入空间和激活模式空间中的局部优化步骤，提出了具有优越局部下降性质的方法。为了实现这一目标，我们将激活模式的离散空间转化为可微分表示，并提出了改进每个下降步骤的正则化项。我们的实验证明了所提出的输入优化方法在对抗学习、生成建模和强化学习等各个领域中提升了最新技术的有效性。

    Jun, 2024