Jul, 2024

自适应参数化激活

HTML
PDF
TL;DR本文通过综合统计分析，研究了激活函数在平衡和不平衡网络中的分类和中间层的现象，实证表明将激活函数与数据分布对齐可以提高平衡和不平衡任务的性能。为此，提出了自适应参数化激活函数（APA），将多种常见的激活函数统一在一个公式下，并在中间层和注意力层中应用，显著优于现有技术在多个平衡和不平衡数据集上的性能。
发现论文，激发创造
  • 深度卷积神经网络参数化的指数线性单元

    提出了一种参数化ELU激活函数的方法以学习CNN中每层的恰当激活形状，实验结果表明，参数化的ELU在目标识别任务中相对误差较小，性能更优。

    May, 2016

  • 自适应混合单元：深度神经网络中可训练的激活函数

    本研究介绍一种可训练的混合激活函数方案，Adaptive Blending Units（ABUs），相比与传统方法具有自适应调整比例的能力，在实验中证明了ABUs和自适应缩放在训练效率等方面的优势，同时也探讨了其原理。

    Jun, 2018

  • 发现参数激活函数

    本文提出了一种使用进化搜索和梯度下降优化参数的方法来自动定制激活函数，实现对深度学习网络性能的可靠优化，验证结果表明该方法可以用作新任务的自动优化步骤。

    Jun, 2020

  • 长尾视觉识别的平衡激活

    介绍了平衡激活(Balanced Activation)作为Sigmoid和Softmax激活函数的扩展，以适应目标检测中训练和测试之间的标签分布偏移；通过实验表明这种方法相对于当前最先进的方法提供了 ~3% 的性能提升，并且不需要引入额外的参数。

    Aug, 2020

  • 深度学习中的激活函数：综述和基准比较

    本论文综述了深度学习神经网络中激活函数的综合评估与调查，并对不同类型的激活函数进行了分类和性能比较。

    Sep, 2021

  • 稀疏实验数据预测建模的自适应激活函数

    本研究旨在通过研究两种类型的自适应激活函数来填补理解有限数据情景下可变激活函数对分类准确性和预测不确定性的影响的重要空白。研究结果表明，具有个体训练参数的自适应激活函数（如ELU和Softplus）能够产生准确且自信的预测模型，优于固定形状激活函数和在隐藏层中使用相同可训练激活函数的不太灵活的方法。因此，该研究提供了在科学和工程问题中设计自适应神经网络的简洁方法。

    Feb, 2024

  • APALU：一种用于深度学习网络的可训练自适应激活函数

    训练激活函数APALU在深度学习中具有鲁棒性和适应性，通过提升深度神经网络和递归神经网络在各种任务中的学习性能，以及在图像分类、异常检测和回归任务中广泛应用的激活函数的改进，证明其在不同的深度学习应用中表现出稳定性和效率的特点。

    Feb, 2024

  • 神经网络中400种激活函数的综合调查：三十年的研究

    本文通过一项涵盖400种激活函数的大规模调查，提供了先前已发表的激活函数的最全面概述和系统化，并为当前对该函数族的理解进行更新。

    Feb, 2024

  • 不必害怕奇特的激活函数：EUAF与更进一步

    我们提出了一种新的超表达激活函数，称为参数化基础通用激活函数（PEUAF）。通过在各种工业和图像数据集（包括CIFAR10、Tiny-ImageNet和ImageNet）上进行系统全面的实验，我们证明了PEUAF的有效性。此外，我们通过展示任意连续函数可以用具有特定超表达激活函数的固定大小网络以任意精度逼近的方法，显著推广了超表达激活函数的族群，这在最近的几个研究中已经得到证明。具体地，我们的工作解决了两个限制超表达激活函数发展的主要瓶颈：超表达函数的有限识别可能性，使得人们对其广泛适用性产生疑问，以及其常见的奇怪形式，导致人们对其在实际应用中的可扩展性和实用性产生怀疑。

    Jul, 2024

  • 深度学习激活函数：定型、参数化、自适应、随机、杂项、非标准、集合

    本论文系统性地综述了各种类型的激活函数，包括固定形状、参数化、适应性、随机/概率性、非标准和组合类型。通过对各类激活函数的理论基础、数学公式以及在不同情境下的特点、优点和限制进行深入分析，同时还探讨了在专业应用中具有独特优势的其他激活函数和挑战传统范式的非标准激活函数。最后，通过严格的统计和实验方法对12种最先进的激活函数进行对比评估，以评估它们的有效性，并为选择和设计最适合特定深度学习任务的激活函数提供帮助。

    Jul, 2024