使用渐进式集成激活方法免费提升 ReLU 网络的性能
本文通过评估不同类型的修正线性单元 rectified activation functions(包括:标准修正线性单元(ReLU),泄漏修正线性单元(Leaky ReLU),参数修正线性单元(PReLU)以及随机泄漏修正线性单元(RReLU))在图像分类任务中的表现,结论表明,对修正激活单元中的负部分引入非零斜率可以始终改善结果,从而推翻了稀疏性是 ReLU 良好性能的关键的常见信念。另外,在小规模数据集上,使用确定性的负斜率或学习固定斜率都容易过拟合,使用随机斜率则更为有效。通过使用 RReLU,我们在 CIFAR-100 测试集上实现了 75.68%的准确度(无多次测试或集合)。
May, 2015
本文中介绍了一种新的非线性激活函数 ——Padé 激活单元 (PAUs),能够代替传统手动选择的固定激活函数,增加深度神经网络的预测性能和可靠性。
Jul, 2019
提出了一种新的激活函数 Piecewise Linear Unit,它可以学习专门的激活函数,并在大规模数据集上获得 SOTA 性能,比 Swish 在 ImageNet 分类数据集上分别提高了 0.9%/0.53%/1.0%/1.7%/1.0% 的 top-1 准确率,此外 PWLU 易于实现且在推理方面高效。
Apr, 2021
本文通过样条理论的角度展示了神经网络训练问题与函数的 Banach 空间有关,进一步论述了 ReLU 等激活函数的重要性,解释了神经网络设计与训练策略如何影响其性能,并为路径范数正则化及跳连等策略提供了新的理论支持。
Oct, 2019
提出了一种参数化 ELU 激活函数的方法以学习 CNN 中每层的恰当激活形状,实验结果表明,参数化的 ELU 在目标识别任务中相对误差较小,性能更优。
May, 2016
使用基于稀疏连接 ReLU 激活函数的深层神经网络,通过适当选择网络结构实现多变量非参数回归模型的极小极限 (最优) 收敛速率 (最多出现 $log n$- 因子),同时为多层前馈神经网络表现良好提供理论解释,并表明在不用结构约束的情况下,调整深度可以使模型的性能更好。
Aug, 2017
该研究提出了一种敏捷的训练方法 SENet,可在保持模型分类精度的同时大幅度减少 ReLU 神经元来降低由 ReLU 操作引起的延迟,从而提高隐私推断(PI)的效率与准确性。
Jan, 2023