Sep, 2022

APTx：比深度学习中使用的 MISH、SWISH 和 ReLU 变种更好的激活函数

PDF
TL;DR该研究论文介绍了不同类型的激活函数对于深度学习的影响，提出了新的激活函数 APTx，其计算速度比 MISH 更快，但效果相近，同时可以有效减少深度学习的计算资源消耗。
发现论文，激发创造
  • 优化 CNN-Bigru 性能：Mish 激活函数与 Relu 的对比分析

    该研究通过比较网络激活函数 Mish 和 ReLU 在入侵检测任务上的性能，揭示了激活函数在提升入侵检测系统性能方面的有效性。

    May, 2024

  • Mish：一种自正则化非单调激活函数

    本研究提出了一种名为 Mish 的自正则非单调激活函数，其数学公式为：$f (x)=x anh (softplus (x))$。我们通过在几个知名基准测试中验证证实该函数的有效性，并观察到数据增强技术对 ImageNet-1k 和 MS-COCO 等基准测试的积极作用。同时，我们还对 Mish 与 Swish 函数族的数学公式进行了探讨，并提出了一种直观的理解方式，即 Mish 的一阶导数行为可能作为一个正则化器帮助深度神经网络的优化，代码可在该网站公开获取。

    Aug, 2019

  • 使用分段线性单元学习专业的激活函数

    提出了一种新的激活函数 Piecewise Linear Unit，它可以学习专门的激活函数，并在大规模数据集上获得 SOTA 性能，比 Swish 在 ImageNet 分类数据集上分别提高了 0.9%/0.53%/1.0%/1.7%/1.0% 的 top-1 准确率，此外 PWLU 易于实现且在推理方面高效。

    Apr, 2021

  • 是时候使用 Swish 了吗？比较不同的 Deep Learning 激活函数在 NLP 任务中的表现

    本文通过对 21 种激活函数进行了首次大规模比较，并发现所谓的惩罚性 tanh 函数在 8 种不同的自然语言处理任务中表现最为稳定，可替换 LSTM 细胞中的 sigmoid 和 tanh 门，在具有挑战性的自然语言处理任务中实现了 2 个百分点的改进。

    Jan, 2019

  • 寻找激活函数

    本文提出利用自动搜索技术发现新的激活函数。通过详尽和强化学习的结合搜索，发现了多个新型激活函数，其中最佳的发现激活函数（称为 Swish）在许多困难数据集上比 ReLU 更有效。

    Oct, 2017

  • 随机自适应激活函数

    本文提出了一种简单而有效的激活函数 Adaptive SwisH（ASH），可用于深度学习模型中，提高了准确性、泛化性和收敛速度。该函数基于神经元位置和输入上下文自适应地调整阈值和激活方法，并具有可训练的特性。

    Oct, 2022

  • Nish：一种新型负激励混合激活函数

    本研究提出了新型剪裁激活函数 Nish，具有比传统的 ReLU 函数更强的动态表现能力，且在分类方面的表现略优于 Mish。

    Oct, 2022

  • 深度网络近似：超越 ReLU，使用多样激活函数

    本文研究深度神经网络对各种激活函数的表达能力，并证明可在任意有界集合上以稍大的常数精度近似任意激活函数的神经网络。

    Jul, 2023

  • 一个非单调平滑激活函数

    本研究提出了一种名为 Sqish 的新型激活函数，作为现有激活函数的替代品，我们展示了它在分类、目标检测、分割任务和对抗性鲁棒性实验中的优越性，在 CIFAR100 数据集上，使用 ShuffleNet V2 模型在 FGSM 对抗攻击中，相较于 ReLU 取得了 8.21% 的改进，并且在 CIFAR100 数据集上，使用 ShuffleNet V2 模型进行图像分类，相较于 ReLU 取得了 5.87% 的改进。

    Oct, 2023

  • 激活或不激活：学习定制化激活

    本文提出 ACON 激活函数及其 meta-ACON 变种，能够在各种任务中提高性能，且可用于对象检测和语义分割。

    Sep, 2020