Nish:一种新型负激励混合激活函数
本研究提出了一种名为 Mish 的自正则非单调激活函数,其数学公式为:$f (x)=x anh (softplus (x))$。我们通过在几个知名基准测试中验证证实该函数的有效性,并观察到数据增强技术对 ImageNet-1k 和 MS-COCO 等基准测试的积极作用。同时,我们还对 Mish 与 Swish 函数族的数学公式进行了探讨,并提出了一种直观的理解方式,即 Mish 的一阶导数行为可能作为一个正则化器帮助深度神经网络的优化,代码可在该网站公开获取。
Aug, 2019
本研究提出了一种名为 Sqish 的新型激活函数,作为现有激活函数的替代品,我们展示了它在分类、目标检测、分割任务和对抗性鲁棒性实验中的优越性,在 CIFAR100 数据集上,使用 ShuffleNet V2 模型在 FGSM 对抗攻击中,相较于 ReLU 取得了 8.21% 的改进,并且在 CIFAR100 数据集上,使用 ShuffleNet V2 模型进行图像分类,相较于 ReLU 取得了 5.87% 的改进。
Oct, 2023
该研究通过比较网络激活函数 Mish 和 ReLU 在入侵检测任务上的性能,揭示了激活函数在提升入侵检测系统性能方面的有效性。
May, 2024
本文提出了一种简单而有效的激活函数 Adaptive SwisH(ASH),可用于深度学习模型中,提高了准确性、泛化性和收敛速度。该函数基于神经元位置和输入上下文自适应地调整阈值和激活方法,并具有可训练的特性。
Oct, 2022
本文提出了一种新的非单调激活函数 SGELU,SSiLU 和 SMish,它们由 ReLU 的正部分和 GELU、SiLU 和 Mish 的负部分组成。实验结果表明,这些新的激活函数在多个深度学习架构上具有高效性能。
May, 2023
该研究论文介绍了不同类型的激活函数对于深度学习的影响,提出了新的激活函数 APTx,其计算速度比 MISH 更快,但效果相近,同时可以有效减少深度学习的计算资源消耗。
Sep, 2022
提出了一种自我调节且非单调的激活函数 Serf,该函数可大幅提高神经网络的性能,在计算机视觉等多种任务中表现优异,深层网络中效果更为显著。与其他常用激活函数相比,Serf 更兼容各种深度、复杂度、优化器、学习率、批量大小、初始化器和节点丢弃率等方面的设置,理论上表现修正了基于 Swish 函数的 Mish 函数的先决条件函数可充当的有效性,通过数学关系证明了 Swish 与 Serf 之间的关系,为深度学习以及神经网络的未来发展提供新思路。
Aug, 2021
通过引入具有偶次立方非线性的简单实现的激活函数,可以提高神经网络的准确性,而不需要大量的计算资源。这部分是通过收敛性和准确性之间的显著折衷来实现的。该激活函数通过引入可优化参数来增加标准 RELU 函数的自由度,从而调整非线性程度。通过与标准技术的比较,利用 MNIST 数字数据集量化了相关的准确性提升。
Mar, 2024
该研究提出了两种新的可训练激活函数,ErfAct 和 Pserf,实验表明,相对于 ReLU、Swish 和 Mish 等广泛使用的激活函数,使用 ErfAct 和 Pserf 在神经网络中能够显著提高网络性能.
Sep, 2021
本文在深度神经网络中研究常用的饱和函数:logistic sigmoid 和双曲正切 (tanh),发现使用 logistic sigmoid 函数训练困难的原因不仅在于其非零中心属性,还在于其在原点附近的斜率过大。通过适当的重新调整,logistic sigmoid 和 tanh 函数的性能相当。接着,通过在负部分加罚项可以改进 tanh 函数,形成了 “带惩罚的 tanh” 函数,其性能甚至优于 ReLu 和 Leaky ReLU 等饱和函数。本文的结果与之前的研究结论产生冲突,表明有必要进一步研究深度架构中的激活函数。
Feb, 2016