May, 2015

卷积网络中修正的激活函数的实证评估

PDF
TL;DR本文通过评估不同类型的修正线性单元 rectified activation functions（包括：标准修正线性单元（ReLU），泄漏修正线性单元（Leaky ReLU），参数修正线性单元（PReLU）以及随机泄漏修正线性单元（RReLU））在图像分类任务中的表现，结论表明，对修正激活单元中的负部分引入非零斜率可以始终改善结果，从而推翻了稀疏性是 ReLU 良好性能的关键的常见信念。另外，在小规模数据集上，使用确定性的负斜率或学习固定斜率都容易过拟合，使用随机斜率则更为有效。通过使用 RReLU，我们在 CIFAR-100 测试集上实现了 75.68％的准确度（无多次测试或集合）。
rectified activation functionsconvolutional neural networkimage classification taskleaky relurrelu
发现论文，激发创造
  • 灵活的整流线性单元：用于优化卷积神经网络

    本文提出了一种称为灵活整流线性单元的新的激活函数，通过重新设计修正线性单元的修正点作为可学习参数，FReLU 扩展了激活输出的状态，使网络收敛到负值，提高了表现，结果表明该方法在各种网络结构上都能快速收敛并获得更高的表现，尤其在图像分类方面表现突出。

    Jun, 2017

  • 深入探索整流器：在 ImageNet 分类上超越人类水平表现

    本研究从两个方面研究了基于修正线性单元（rectifier）的神经网络在图像分类方面的应用：首先，本文提出了一种广义化的参数修正线性单元（PReLU）来改进模型拟合；其次，本文提出了一种健壮的初始化方法来考虑线性单元的非线性，使我们能够直接从头开始训练极深层的网络。通过使用我们提出的 PReLU 网络，我们在 ImageNet 2012 数据集上实现了 4.94% 的 top-5 测试错误率，相对于 ILSVRC 2014 的冠军 GoogLeNet 的 6.66％，这是一个 26％的相对改进。根据我们的知识，我们的结果是首次在这个视觉识别挑战中超越了人类水平表现（5.1％，Russakovsky 等）。

    Feb, 2015

  • S 形修正线性激活单元的深度学习

    本文提出了一种能够 SReLU 在深层神经网络中充分学习凸函数和非凸函数的网络。实验结果表明，与其他激活函数相比，SReLU 可以显著提高卷积神经网络的性能。

    Dec, 2015

  • 神经网络激活函数的作用

    本文通过样条理论的角度展示了神经网络训练问题与函数的 Banach 空间有关，进一步论述了 ReLU 等激活函数的重要性，解释了神经网络设计与训练策略如何影响其性能，并为路径范数正则化及跳连等策略提供了新的理论支持。

    Oct, 2019

  • 发现参数激活函数

    本文提出了一种使用进化搜索和梯度下降优化参数的方法来自动定制激活函数，实现对深度学习网络性能的可靠优化，验证结果表明该方法可以用作新任务的自动优化步骤。

    Jun, 2020

  • 寻找激活函数

    本文提出利用自动搜索技术发现新的激活函数。通过详尽和强化学习的结合搜索，发现了多个新型激活函数，其中最佳的发现激活函数（称为 Swish）在许多困难数据集上比 ReLU 更有效。

    Oct, 2017

  • ReLU 是否具有对抗鲁棒性？

    通过实验证明修正线性单元（ReLU）激活函数在生成对抗性样本方面的不足，我们提出了一种改进版本的 ReLU 函数，以提高对抗性样本的鲁棒性，并通过对抗训练进一步增强了我们的自定义模型相比于通用模型的鲁棒性。

    May, 2024

  • 使用深层 ReLU 网络近似非线性泛函

    本文研究了与 ReLU 激活函数相关的功能深度神经网络的逼近能力，并在简单三角剖分下构建了连续分段线性插值。此外，还建立了所提出的功能深度 ReLU 网络的逼近速率，并在温和的正则条件下进行了分析，最终探究了功能数据学习算法的理解。

    Apr, 2023

  • 泄漏 ReLU 在超参数化网络的训练和泛化中的影响

    我们研究了具有广泛的漏斗修复线性统一函数的过参数神经网络的训练和泛化误差。我们对此类神经网络的训练误差的收敛速率和泛化误差进行了上界估计，并研究了这些上界与漏斗修复线性统一参数 alpha 的依赖关系。我们证明了 alpha 等于 - 1，对应于绝对值激活函数，是训练误差上界的最优选择。此外，在特定的设置下，它也是泛化误差上界的最优选择。数值实验在实践中支持了由理论指导的实际选择。

    Feb, 2024

  • 用带有修正幂单元的深度神经网络更好地逼近高维光滑函数

    本文研究使用深层神经网络进行平滑函数的逼近，提出了基于经典多项式逼近理论的优化算法与框架，并发现使用修正功率单元的网络对于逼近平滑函数比使用修正线性单元的网络具有更好的表现，网络的大小也更为紧凑，适用于损失函数中涉及求导的场合。

    Mar, 2019