本文提出了一种称为灵活整流线性单元的新的激活函数，通过重新设计修正线性单元的修正点作为可学习参数，FReLU 扩展了激活输出的状态，使网络收敛到负值，提高了表现，结果表明该方法在各种网络结构上都能快速收敛并获得更高的表现，尤其在图像分类方面表现突出。

Jun, 2017

本文通过评估不同类型的修正线性单元 rectified activation functions（包括：标准修正线性单元（ReLU），泄漏修正线性单元（Leaky ReLU），参数修正线性单元（PReLU）以及随机泄漏修正线性单元（RReLU））在图像分类任务中的表现，结论表明，对修正激活单元中的负部分引入非零斜率可以始终改善结果，从而推翻了稀疏性是 ReLU 良好性能的关键的常见信念。另外，在小规模数据集上，使用确定性的负斜率或学习固定斜率都容易过拟合，使用随机斜率则更为有效。通过使用 RReLU，我们在 CIFAR-100 测试集上实现了 75.68％的准确度（无多次测试或集合）。

May, 2015

本研究介绍了在深度神经网络中使用修正线性单元作为分类函数来预测类别，通过将神经网络中的倒数第二层的输出与权重参数相乘得到原始分数，再使用修正线性单元函数进行阈值处理，最后通过 argmax 函数得到分类预测。

Mar, 2018

本文通过样条理论的角度展示了神经网络训练问题与函数的 Banach 空间有关，进一步论述了 ReLU 等激活函数的重要性，解释了神经网络设计与训练策略如何影响其性能，并为路径范数正则化及跳连等策略提供了新的理论支持。

Oct, 2019

介绍了两种新的激活函数，Cone 和 Parabolic-Cone，相较于常用的 ReLU 和 Sigmoidal 类激活函数，在 CIFAR-10 和 Imagenette 两个基准测试中明显表现更好。这些激活函数在有限区间内为正，且在区间的端点处变为零，使得神经元可以更精细地将输入特征空间划分为正类和负类，通过较少的超带学习 XOR 函数，并且在基准测试中达到更高的准确率。此研究表明，在许多非线性真实世界的数据集中，相较于半空间，较少的超带可以实现数据的分离，并且 Cone 和 Parabolic-Cone 激活函数具有更大的导数，加速了训练过程。

May, 2024

基于结构相似性，通过将 ReLU 替换为广义投影算子，将其扩展为具有多个输入和多个输出的多元投影单元 (MPU)，证明了在表达能力方面，由 SOC 投影激活的 FNN 优于利用 ReLU 的 FNN。实验评估进一步证实了 MPU 在更广泛的现有激活函数范围内的有效性。

Sep, 2023

本文研究了与 ReLU 激活函数相关的功能深度神经网络的逼近能力，并在简单三角剖分下构建了连续分段线性插值。此外，还建立了所提出的功能深度 ReLU 网络的逼近速率，并在温和的正则条件下进行了分析，最终探究了功能数据学习算法的理解。

Apr, 2023

本文提出了一种能够 SReLU 在深层神经网络中充分学习凸函数和非凸函数的网络。实验结果表明，与其他激活函数相比，SReLU 可以显著提高卷积神经网络的性能。

Dec, 2015

提出了一种新的激活函数 Piecewise Linear Unit，它可以学习专门的激活函数，并在大规模数据集上获得 SOTA 性能，比 Swish 在 ImageNet 分类数据集上分别提高了 0.9%/0.53%/1.0%/1.7%/1.0% 的 top-1 准确率，此外 PWLU 易于实现且在推理方面高效。

Apr, 2021

本文提出了一种方法 —— 使用一些高效的激活函数，用于训练 ReLU 网络，提高了在 ImageNet 上分类任务的实验精确度，同时还对 Cityscapes 数据集的语义分割网络的性能提升了 0.34％mIOU。

Jul, 2022