本篇论文提出了一种新的、简单而有效的激活方法，称为 CRelu，并将其与现有的卷积神经网络模型相结合，从而大大提高了它们在 CIFAR-10/100 和 ImageNet 数据集上的性能。

Mar, 2016

本文提出深度神经网络在训练过程中能自动诱导出权重的分组稀疏性，利用此现象我们可以在训练完成之后快速减少模型尺寸，同时不会对模型表现带来太大影响。

Dec, 2018

引入了 “指数线性单元”（ELU），可以提高深度神经网络的学习速度和分类准确性，相较于其他激活函数，ELU 具有更好的学习特征和更低的计算复杂度，能够在输入数据中编码特定现象的存在程度，并在实验中取得比其他激活函数更快的学习和更好的泛化表现，是目前 CIFAR-100 最好的分类结果之一。

Nov, 2015

本文通过评估不同类型的修正线性单元 rectified activation functions（包括：标准修正线性单元（ReLU），泄漏修正线性单元（Leaky ReLU），参数修正线性单元（PReLU）以及随机泄漏修正线性单元（RReLU））在图像分类任务中的表现，结论表明，对修正激活单元中的负部分引入非零斜率可以始终改善结果，从而推翻了稀疏性是 ReLU 良好性能的关键的常见信念。另外，在小规模数据集上，使用确定性的负斜率或学习固定斜率都容易过拟合，使用随机斜率则更为有效。通过使用 RReLU，我们在 CIFAR-100 测试集上实现了 75.68％的准确度（无多次测试或集合）。

May, 2015

研究表明，修正线性单元（ReLU）不仅可以改善梯度消失问题、实现高效反向传播，且在学习参数方面具有稀疏性；本文则从表现力的角度探究了 ReLU 网络的决策边界，并实验证明两层 ReLU 网络的决策边界可以被阈值网络广泛捕捉，而后者可能需要一个指数级别的更多的隐藏单元。此外，本文还提出了系数条件，将符号网络表示为 ReLU 网络的隐藏单元数量可以倍减。最后，作者通过对一些合成数据进行实验比较了 ReLU 网络和阈值网络及它们较小的 ReLU 网络的学习能力。

Nov, 2015

本文提出了一种称为灵活整流线性单元的新的激活函数，通过重新设计修正线性单元的修正点作为可学习参数，FReLU 扩展了激活输出的状态，使网络收敛到负值，提高了表现，结果表明该方法在各种网络结构上都能快速收敛并获得更高的表现，尤其在图像分类方面表现突出。

Jun, 2017

本文介绍了两种简单的方案，利用交叉通道或过滤器冗余构建低秩滤波器基，从而显著加速卷积层。我们使用应用于实际网络中的这些方法，以不降低精度的速度获得了 2.5 倍和在不到 1％精度下降的情况下获得了 4.5 倍的加速比，仍然在标准基准上实现了最先进的场景文本字符识别。

May, 2014

研究表明，使用 Batch Normalization 和 ReLU 激活的卷积神经网络，在采用适应性梯度下降和 L2 正则化或权重衰减训练的情况下，会出现滤波器级别的稀疏性，这种隐式的稀疏性可以利用以达到神经网络加速的效果。

Nov, 2018

本文提出了 SparseTrain 来加速卷积神经网络的训练，该方法通过完全利用稀疏性，主要包括三个方面的创新：激活梯度剪枝算法、稀疏训练数据流和加速器架构。评估结果表明，与原始训练流程相比，SparseTrain 平均可实现约 2.7 倍的加速和 2.2 倍的能量效率提高。

Jul, 2020

本研究从两个方面研究了基于修正线性单元（rectifier）的神经网络在图像分类方面的应用：首先，本文提出了一种广义化的参数修正线性单元（PReLU）来改进模型拟合；其次，本文提出了一种健壮的初始化方法来考虑线性单元的非线性，使我们能够直接从头开始训练极深层的网络。通过使用我们提出的 PReLU 网络，我们在 ImageNet 2012 数据集上实现了 4.94% 的 top-5 测试错误率，相对于 ILSVRC 2014 的冠军 GoogLeNet 的 6.66％，这是一个 26％的相对改进。根据我们的知识，我们的结果是首次在这个视觉识别挑战中超越了人类水平表现（5.1％，Russakovsky 等）。

Feb, 2015