Jul, 2024

不必害怕奇特的激活函数：EUAF与更进一步

HTML
PDF
TL;DR我们提出了一种新的超表达激活函数，称为参数化基础通用激活函数（PEUAF）。通过在各种工业和图像数据集（包括CIFAR10、Tiny-ImageNet和ImageNet）上进行系统全面的实验，我们证明了PEUAF的有效性。此外，我们通过展示任意连续函数可以用具有特定超表达激活函数的固定大小网络以任意精度逼近的方法，显著推广了超表达激活函数的族群，这在最近的几个研究中已经得到证明。具体地，我们的工作解决了两个限制超表达激活函数发展的主要瓶颈：超表达函数的有限识别可能性，使得人们对其广泛适用性产生疑问，以及其常见的奇怪形式，导致人们对其在实际应用中的可扩展性和实用性产生怀疑。
发现论文，激发创造
  • 寻找黄金激活函数

    本文介绍了深度神经网络在不同领域的应用，探讨了激活函数选择的重要性及其优化方法，提出了两个新的激活函数 ELiSH 和 HardELiSH，并使用基于遗传算法的方法在三个图像分类基准测试中得到了比传统基线更好的效果。

    Aug, 2018

  • SERF：使用log-Softplus ERror激活函数实现更好的深度神经网络训练

    提出了一种自我调节且非单调的激活函数Serf，该函数可大幅提高神经网络的性能，在计算机视觉等多种任务中表现优异，深层网络中效果更为显著。与其他常用激活函数相比，Serf更兼容各种深度、复杂度、优化器、学习率、批量大小、初始化器和节点丢弃率等方面的设置，理论上表现修正了基于Swish函数的Mish函数的先决条件函数可充当的有效性，通过数学关系证明了Swish与Serf之间的关系，为深度学习以及神经网络的未来发展提供新思路。

    Aug, 2021

  • 模数作为计算机视觉应用中的激活函数的实证研究

    本文提出了一种新的非单调激活函数——模函数，在计算机视觉任务中使用该函数可以使模型相对于其他非线性函数具有更好的泛化能力，同时还能解决梯度消失和神经元失活问题，这种简单易用的函数对于TinyML和硬件应用尤其适用。

    Jan, 2023

  • 层级激活机制

    本文提出了一种新颖的激活机制，名为LayerAct函数，该函数能够更好地应对输入的波动和噪声，同时在保持零输出均值的同时，实现比传统的元素级激活函数更好的噪声鲁棒性，实验结果表明，这些函数在处理噪声图像数据集方面表现出色，同时在大多数情况下，对于清晰的图像数据集的性能也更优秀。

    Jun, 2023

  • 1-Lipschitz神经网络基于N-激活的表达更加丰富

    通过研究激活函数的角色，论文揭示了常用的激活函数以及两段式分段线性函数在表达函数时的局限性，并介绍了一种新的N-激活函数，证明其比目前流行的激活函数更具表达能力。

    Nov, 2023

  • 神经网络中400种激活函数的综合调查：三十年的研究

    本文通过一项涵盖400种激活函数的大规模调查，提供了先前已发表的激活函数的最全面概述和系统化，并为当前对该函数族的理解进行更新。

    Feb, 2024

  • 一种寻找更好激活函数的方法

    通过信息熵的角度，本研究理论上证明了存在具有边界条件的最差激活函数，提出了基于熵的激活函数优化方法（EAFO），并从ReLU中推导出了一种新的激活函数CRReLU。实验证明CRReLU在深度神经网络中表现优异，并在大型语言模型细调任务中展现出与GELU相比的卓越性能，显示其广泛的实际应用潜力。

    May, 2024

  • 可训练的高表达力激活函数

    该研究介绍了DiTAC，一种基于高效可微变换（称为CPAB）的可训练高表达的激活函数，它通过引入可忽略数量的可训练参数来增强模型的表达能力和性能，在语义分割、图像生成、回归问题和图像分类等任务中优于已有的激活函数。

    Jul, 2024

  • 自适应参数化激活

    本文通过综合统计分析，研究了激活函数在平衡和不平衡网络中的分类和中间层的现象，实证表明将激活函数与数据分布对齐可以提高平衡和不平衡任务的性能。为此，提出了自适应参数化激活函数（APA），将多种常见的激活函数统一在一个公式下，并在中间层和注意力层中应用，显著优于现有技术在多个平衡和不平衡数据集上的性能。

    Jul, 2024

  • 用于图像分类的激活函数优化方案

    本研究解决了深度神经网络中激活函数对动态性、收敛性和性能影响的问题。我们提出了一种进化方法来优化激活函数，特别针对图像分类任务，从而发现超过现有最先进选项的函数。最终结果表明，优化方案生成的激活函数在92.8%的案例中优于现有标准，$-x\cdot erf(e^{-x})$是最佳的图像分类激活函数。

    Sep, 2024