AAAISep, 2021

ErfAct 和 Pserf：非单调平滑可训练激活函数

PDF
TL;DR该研究提出了两种新的可训练激活函数，ErfAct 和 Pserf，实验表明，相对于 ReLU、Swish 和 Mish 等广泛使用的激活函数，使用 ErfAct 和 Pserf 在神经网络中能够显著提高网络性能.
activation functionneural networkerfactpserfperformance
发现论文，激发创造
  • ErfReLU: 深度神经网络自适应激活函数

    本文介绍了一种基于 Erf 函数和 ReLU 的新型激活函数 'ErfReLU'，并比较了其与其他 9 种可训练激活函数在 CIFAR-10，MNIST 和 FMNIST 基准数据集上应用于 MobileNet，VGG16，ResNet 模型的性能分析。

    Jun, 2023

  • SERF：使用 log-Softplus ERror 激活函数实现更好的深度神经网络训练

    提出了一种自我调节且非单调的激活函数 Serf，该函数可大幅提高神经网络的性能，在计算机视觉等多种任务中表现优异，深层网络中效果更为显著。与其他常用激活函数相比，Serf 更兼容各种深度、复杂度、优化器、学习率、批量大小、初始化器和节点丢弃率等方面的设置，理论上表现修正了基于 Swish 函数的 Mish 函数的先决条件函数可充当的有效性，通过数学关系证明了 Swish 与 Serf 之间的关系，为深度学习以及神经网络的未来发展提供新思路。

    Aug, 2021

  • 一种寻找更好激活函数的方法

    通过信息熵的角度，本研究理论上证明了存在具有边界条件的最差激活函数，提出了基于熵的激活函数优化方法（EAFO），并从 ReLU 中推导出了一种新的激活函数 CRReLU。实验证明 CRReLU 在深度神经网络中表现优异，并在大型语言模型细调任务中展现出与 GELU 相比的卓越性能，显示其广泛的实际应用潜力。

    May, 2024

  • 一个非单调平滑激活函数

    本研究提出了一种名为 Sqish 的新型激活函数，作为现有激活函数的替代品，我们展示了它在分类、目标检测、分割任务和对抗性鲁棒性实验中的优越性，在 CIFAR100 数据集上，使用 ShuffleNet V2 模型在 FGSM 对抗攻击中，相较于 ReLU 取得了 8.21% 的改进，并且在 CIFAR100 数据集上，使用 ShuffleNet V2 模型进行图像分类，相较于 ReLU 取得了 5.87% 的改进。

    Oct, 2023

  • 非线性增强的自适应激活函数

    通过引入具有偶次立方非线性的简单实现的激活函数，可以提高神经网络的准确性，而不需要大量的计算资源。这部分是通过收敛性和准确性之间的显著折衷来实现的。该激活函数通过引入可优化参数来增加标准 RELU 函数的自由度，从而调整非线性程度。通过与标准技术的比较，利用 MNIST 数字数据集量化了相关的准确性提升。

    Mar, 2024

  • 饱和非单调激活函数

    本文提出了一种新的非单调激活函数 SGELU，SSiLU 和 SMish，它们由 ReLU 的正部分和 GELU、SiLU 和 Mish 的负部分组成。实验结果表明，这些新的激活函数在多个深度学习架构上具有高效性能。

    May, 2023

  • 深度学习中的激活函数：综述和基准比较

    本论文综述了深度学习神经网络中激活函数的综合评估与调查，并对不同类型的激活函数进行了分类和性能比较。

    Sep, 2021

  • 激活函数对超参数化神经网络训练的影响

    研究论文探讨了激活函数对过度参数化神经网络训练的影响，指出了平滑的激活函数在训练中的优势和尺寸较小的数据维度可能导致训练速度变慢的问题，并讨论了这些结果的应用和推广。

    Aug, 2019

  • 学习激活函数以提高深度神经网络性能

    使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在 CIFAR-10 等数据集上取得了最先进的表现。

    Dec, 2014

  • 稀疏神经网络学习激活函数

    本研究提出了一种新的方法，即 Sparse Activation Function Search（SAFS），结合了调整稀疏网络激活函数和独立的超参数优化（HPO）来提高稀疏神经网络的预测准确率。通过在多个数据集和深度神经网络模型上进行实验，结果显示，与默认的训练协议相比，特别是在高剪枝率下，在 LeNet-5、VGG-16 和 ResNet-18 中的准确率分别提高了 15.53％、8.88％和 6.33％。

    May, 2023