Jun, 2023

ErfReLU: 深度神经网络自适应激活函数

PDF
TL;DR本文介绍了一种基于 Erf 函数和 ReLU 的新型激活函数 'ErfReLU'，并比较了其与其他 9 种可训练激活函数在 CIFAR-10，MNIST 和 FMNIST 基准数据集上应用于 MobileNet，VGG16，ResNet 模型的性能分析。
activation functiontrainableadaptiveerfreludeep learning
发现论文，激发创造
  • ErfAct 和 Pserf：非单调平滑可训练激活函数

    该研究提出了两种新的可训练激活函数，ErfAct 和 Pserf，实验表明，相对于 ReLU、Swish 和 Mish 等广泛使用的激活函数，使用 ErfAct 和 Pserf 在神经网络中能够显著提高网络性能.

    Sep, 2021

  • 深度学习中的激活函数：综述和基准比较

    本论文综述了深度学习神经网络中激活函数的综合评估与调查，并对不同类型的激活函数进行了分类和性能比较。

    Sep, 2021

  • SERF：使用 log-Softplus ERror 激活函数实现更好的深度神经网络训练

    提出了一种自我调节且非单调的激活函数 Serf，该函数可大幅提高神经网络的性能，在计算机视觉等多种任务中表现优异，深层网络中效果更为显著。与其他常用激活函数相比，Serf 更兼容各种深度、复杂度、优化器、学习率、批量大小、初始化器和节点丢弃率等方面的设置，理论上表现修正了基于 Swish 函数的 Mish 函数的先决条件函数可充当的有效性，通过数学关系证明了 Swish 与 Serf 之间的关系，为深度学习以及神经网络的未来发展提供新思路。

    Aug, 2021

  • 一种寻找更好激活函数的方法

    通过信息熵的角度，本研究理论上证明了存在具有边界条件的最差激活函数，提出了基于熵的激活函数优化方法（EAFO），并从 ReLU 中推导出了一种新的激活函数 CRReLU。实验证明 CRReLU 在深度神经网络中表现优异，并在大型语言模型细调任务中展现出与 GELU 相比的卓越性能，显示其广泛的实际应用潜力。

    May, 2024

  • 参数泄漏双曲正切：一种用于深度学习的新型混合激活函数

    本文在深度神经网络中提出了 Parametric Leaky Tanh（PLTanh）作为一种新的混合激活函数，结合了 Tanh 和 Leaky ReLU 激活函数的优势，通过保证负输入的梯度非零，解决了 'dying ReLU' 问题，并通过与 ReLU、LReLU 和 ALReLU 在五个不同数据集上的实证评估，展示了 PLTanh 的优势。

    Aug, 2023

  • 非线性增强的自适应激活函数

    通过引入具有偶次立方非线性的简单实现的激活函数，可以提高神经网络的准确性，而不需要大量的计算资源。这部分是通过收敛性和准确性之间的显著折衷来实现的。该激活函数通过引入可优化参数来增加标准 RELU 函数的自由度，从而调整非线性程度。通过与标准技术的比较，利用 MNIST 数字数据集量化了相关的准确性提升。

    Mar, 2024

  • 探索关系：变换自适应激活函数与其他激活函数的比较

    TAAFs 是一种具有任意垂直和水平平移缩放的新型自适应激活函数，它广义地归纳了 50 多种现有激活函数和 70 多种其他激活函数的类似概念，证明了其作为一种有前景且适应性强的神经网络增强方法。

    Feb, 2024

  • 发现参数激活函数

    本文提出了一种使用进化搜索和梯度下降优化参数的方法来自动定制激活函数，实现对深度学习网络性能的可靠优化，验证结果表明该方法可以用作新任务的自动优化步骤。

    Jun, 2020

  • 自适应混合单元：深度神经网络中可训练的激活函数

    本研究介绍一种可训练的混合激活函数方案，Adaptive Blending Units（ABUs），相比与传统方法具有自适应调整比例的能力，在实验中证明了 ABUs 和自适应缩放在训练效率等方面的优势，同时也探讨了其原理。

    Jun, 2018

  • 深度网络近似：超越 ReLU，使用多样激活函数

    本文研究深度神经网络对各种激活函数的表达能力，并证明可在任意有界集合上以稍大的常数精度近似任意激活函数的神经网络。

    Jul, 2023