发现参数激活函数
本文提出利用自动搜索技术发现新的激活函数。通过详尽和强化学习的结合搜索,发现了多个新型激活函数,其中最佳的发现激活函数(称为 Swish)在许多困难数据集上比 ReLU 更有效。
Oct, 2017
本文通过样条理论的角度展示了神经网络训练问题与函数的 Banach 空间有关,进一步论述了 ReLU 等激活函数的重要性,解释了神经网络设计与训练策略如何影响其性能,并为路径范数正则化及跳连等策略提供了新的理论支持。
Oct, 2019
本文通过评估不同类型的修正线性单元 rectified activation functions(包括:标准修正线性单元(ReLU),泄漏修正线性单元(Leaky ReLU),参数修正线性单元(PReLU)以及随机泄漏修正线性单元(RReLU))在图像分类任务中的表现,结论表明,对修正激活单元中的负部分引入非零斜率可以始终改善结果,从而推翻了稀疏性是 ReLU 良好性能的关键的常见信念。另外,在小规模数据集上,使用确定性的负斜率或学习固定斜率都容易过拟合,使用随机斜率则更为有效。通过使用 RReLU,我们在 CIFAR-100 测试集上实现了 75.68%的准确度(无多次测试或集合)。
May, 2015
本研究介绍一种可训练的混合激活函数方案,Adaptive Blending Units(ABUs),相比与传统方法具有自适应调整比例的能力,在实验中证明了 ABUs 和自适应缩放在训练效率等方面的优势,同时也探讨了其原理。
Jun, 2018
本文研究了针对常用的修正线性单元(ReLU)激活函数的线性化方法,为将神经网络模型与 ReLU 激活函数结合的优化问题提供了有效解决工具。
Oct, 2023
通过实验证明修正线性单元(ReLU)激活函数在生成对抗性样本方面的不足,我们提出了一种改进版本的 ReLU 函数,以提高对抗性样本的鲁棒性,并通过对抗训练进一步增强了我们的自定义模型相比于通用模型的鲁棒性。
May, 2024
本文介绍了深度神经网络在不同领域的应用,探讨了激活函数选择的重要性及其优化方法,提出了两个新的激活函数 ELiSH 和 HardELiSH,并使用基于遗传算法的方法在三个图像分类基准测试中得到了比传统基线更好的效果。
Aug, 2018