Mish：一种自正则化非单调激活函数

Aug, 2019

Mish：一种自正则化非单调激活函数

Mish: A Self Regularized Non-Monotonic Activation Function

Diganta Misra

TL;DR本研究提出了一种名为 Mish 的自正则非单调激活函数，其数学公式为：$f (x)=x anh (softplus (x))$。我们通过在几个知名基准测试中验证证实该函数的有效性，并观察到数据增强技术对 ImageNet-1k 和 MS-COCO 等基准测试的积极作用。同时，我们还对 Mish 与 Swish 函数族的数学公式进行了探讨，并提出了一种直观的理解方式，即 Mish 的一阶导数行为可能作为一个正则化器帮助深度神经网络的优化，代码可在该网站公开获取。

Abstract

We propose $\textit{mish}$, a novel self-regularized non-monotonic activation function which can be mathematically defined as: $f(x)=x\tanh(softplus(x))$. As activation functions play a crucial role in the perfor

mish activation functions neural networks data augmentation object detection

发现论文，激发创造

Nish：一种新型负激励混合激活函数

本研究提出了新型剪裁激活函数 Nish，具有比传统的 ReLU 函数更强的动态表现能力，且在分类方面的表现略优于 Mish。

Oct, 2022

优化 CNN-Bigru 性能：Mish 激活函数与 Relu 的对比分析

该研究通过比较网络激活函数 Mish 和 ReLU 在入侵检测任务上的性能，揭示了激活函数在提升入侵检测系统性能方面的有效性。

May, 2024

SERF：使用 log-Softplus ERror 激活函数实现更好的深度神经网络训练

提出了一种自我调节且非单调的激活函数 Serf，该函数可大幅提高神经网络的性能，在计算机视觉等多种任务中表现优异，深层网络中效果更为显著。与其他常用激活函数相比，Serf 更兼容各种深度、复杂度、优化器、学习率、批量大小、初始化器和节点丢弃率等方面的设置，理论上表现修正了基于 Swish 函数的 Mish 函数的先决条件函数可充当的有效性，通过数学关系证明了 Swish 与 Serf 之间的关系，为深度学习以及神经网络的未来发展提供新思路。

Aug, 2021

APTx：比深度学习中使用的 MISH、SWISH 和 ReLU 变种更好的激活函数

该研究论文介绍了不同类型的激活函数对于深度学习的影响，提出了新的激活函数 APTx，其计算速度比 MISH 更快，但效果相近，同时可以有效减少深度学习的计算资源消耗。

Sep, 2022

饱和非单调激活函数

本文提出了一种新的非单调激活函数 SGELU，SSiLU 和 SMish，它们由 ReLU 的正部分和 GELU、SiLU 和 Mish 的负部分组成。实验结果表明，这些新的激活函数在多个深度学习架构上具有高效性能。

May, 2023

一个非单调平滑激活函数

本研究提出了一种名为 Sqish 的新型激活函数，作为现有激活函数的替代品，我们展示了它在分类、目标检测、分割任务和对抗性鲁棒性实验中的优越性，在 CIFAR100 数据集上，使用 ShuffleNet V2 模型在 FGSM 对抗攻击中，相较于 ReLU 取得了 8.21% 的改进，并且在 CIFAR100 数据集上，使用 ShuffleNet V2 模型进行图像分类，相较于 ReLU 取得了 5.87% 的改进。

Oct, 2023

深度网络近似：超越 ReLU，使用多样激活函数

本文研究深度神经网络对各种激活函数的表达能力，并证明可在任意有界集合上以稍大的常数精度近似任意激活函数的神经网络。

Jul, 2023

修正饱和激活函数

本文在深度神经网络中研究常用的饱和函数：logistic sigmoid 和双曲正切 (tanh)，发现使用 logistic sigmoid 函数训练困难的原因不仅在于其非零中心属性，还在于其在原点附近的斜率过大。通过适当的重新调整，logistic sigmoid 和 tanh 函数的性能相当。接着，通过在负部分加罚项可以改进 tanh 函数，形成了 “带惩罚的 tanh” 函数，其性能甚至优于 ReLu 和 Leaky ReLU 等饱和函数。本文的结果与之前的研究结论产生冲突，表明有必要进一步研究深度架构中的激活函数。

Feb, 2016

寻找激活函数

本文提出利用自动搜索技术发现新的激活函数。通过详尽和强化学习的结合搜索，发现了多个新型激活函数，其中最佳的发现激活函数（称为 Swish）在许多困难数据集上比 ReLU 更有效。

Oct, 2017

深度神经网络初始化和激活函数的选择

这篇论文研究了深度神经网络的权重初始化和激活函数对其训练性能的影响，证明了边缘混沌状态具有优异的表现，同时提出了一类叫做 Swish 的激活函数，可以优化信息传递。

May, 2018