本文通过评估不同类型的修正线性单元 rectified activation functions（包括：标准修正线性单元（ReLU），泄漏修正线性单元（Leaky ReLU），参数修正线性单元（PReLU）以及随机泄漏修正线性单元（RReLU））在图像分类任务中的表现，结论表明，对修正激活单元中的负部分引入非零斜率可以始终改善结果，从而推翻了稀疏性是 ReLU 良好性能的关键的常见信念。另外，在小规模数据集上，使用确定性的负斜率或学习固定斜率都容易过拟合，使用随机斜率则更为有效。通过使用 RReLU，我们在 CIFAR-100 测试集上实现了 75.68％的准确度（无多次测试或集合）。

May, 2015

本文提出了一种能够 SReLU 在深层神经网络中充分学习凸函数和非凸函数的网络。实验结果表明，与其他激活函数相比，SReLU 可以显著提高卷积神经网络的性能。

Dec, 2015

提出一种名为 Funnel activation（FReLU）的漏斗激活方法，通过增加空间条件的不可忽略的开销，将 ReLU 和 PReLU 扩展到 2D 激活。该方法可以以简单的方式捕捉复杂的视觉布局，并在图像识别任务中带来显着的改进和稳健性。

Jul, 2020

本文通过样条理论的角度展示了神经网络训练问题与函数的 Banach 空间有关，进一步论述了 ReLU 等激活函数的重要性，解释了神经网络设计与训练策略如何影响其性能，并为路径范数正则化及跳连等策略提供了新的理论支持。

Oct, 2019

本研究介绍了在深度神经网络中使用修正线性单元作为分类函数来预测类别，通过将神经网络中的倒数第二层的输出与权重参数相乘得到原始分数，再使用修正线性单元函数进行阈值处理，最后通过 argmax 函数得到分类预测。

Mar, 2018

本文提出了一种使用进化搜索和梯度下降优化参数的方法来自动定制激活函数，实现对深度学习网络性能的可靠优化，验证结果表明该方法可以用作新任务的自动优化步骤。

Jun, 2020

本文研究使用带有 ReLU 的深度神经网络能够代表的函数家族，提供了一个训练一个 ReLU 深度神经网络的一种算法，同时提高了在将 ReLU 神经网络函数逼近为浅层 ReLU 网络时已知下限的上界，并证明了这些间隙定理。

Nov, 2016

本文提出动态整流器（DY-ReLU），将全局上下文编码到超函数中，并相应地适应分段线性激活函数，与其静态对应物相比，DY-ReLU 具有更强的表征能力，特别是对于轻量级神经网络，只需在 MobileNetV2 上应用 DY-ReLU，就可将 ImageNet 分类的 top-1 准确度从 72.0％提高到 76.2％，仅增加 5％的 FLOPs。

Mar, 2020

本文研究了与 ReLU 激活函数相关的功能深度神经网络的逼近能力，并在简单三角剖分下构建了连续分段线性插值。此外，还建立了所提出的功能深度 ReLU 网络的逼近速率，并在温和的正则条件下进行了分析，最终探究了功能数据学习算法的理解。

Apr, 2023

引入了 “指数线性单元”（ELU），可以提高深度神经网络的学习速度和分类准确性，相较于其他激活函数，ELU 具有更好的学习特征和更低的计算复杂度，能够在输入数据中编码特定现象的存在程度，并在实验中取得比其他激活函数更快的学习和更好的泛化表现，是目前 CIFAR-100 最好的分类结果之一。

Nov, 2015