May, 2020

现代可训练激活函数调查

PDF
TL;DR本文系统总结了神经网络领域可训练激活函数的不同模型，提出了这类函数的分类法，并探讨了其优缺点，进一步表明这些方法很多等价于添加使用固定（不可训练）激活函数和一些简单的局部规则来约束相应的权重层的神经元层，从而促进了神经网络的性能。
neural networksactivation functionstrainable activation functionstaxonomynetwork performance
发现论文，激发创造
  • 深度学习最近提出的激活函数综述

    介绍了人工神经网络中激活函数的主要概念及其作用，讨论了各种激活函数类型、应用、限制和替代方案。

    Apr, 2022

  • 神经网络中 400 种激活函数的综合调查：三十年的研究

    本文通过一项涵盖 400 种激活函数的大规模调查，提供了先前已发表的激活函数的最全面概述和系统化，并为当前对该函数族的理解进行更新。

    Feb, 2024

  • 学习激活函数的组合

    本文介绍了两种自动学习不同激活函数组合的方法，并在三个标准数据集上与著名的体系结构进行了比较，显示了整体性能的显着改进。

    Jan, 2018

  • 学习激活函数以提高深度神经网络性能

    使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在 CIFAR-10 等数据集上取得了最先进的表现。

    Dec, 2014

  • 探索关系：变换自适应激活函数与其他激活函数的比较

    TAAFs 是一种具有任意垂直和水平平移缩放的新型自适应激活函数，它广义地归纳了 50 多种现有激活函数和 70 多种其他激活函数的类似概念，证明了其作为一种有前景且适应性强的神经网络增强方法。

    Feb, 2024

  • 稀疏实验数据预测建模的自适应激活函数

    本研究旨在通过研究两种类型的自适应激活函数来填补理解有限数据情景下可变激活函数对分类准确性和预测不确定性的影响的重要空白。研究结果表明，具有个体训练参数的自适应激活函数（如 ELU 和 Softplus）能够产生准确且自信的预测模型，优于固定形状激活函数和在隐藏层中使用相同可训练激活函数的不太灵活的方法。因此，该研究提供了在科学和工程问题中设计自适应神经网络的简洁方法。

    Feb, 2024

  • 自适应混合单元：深度神经网络中可训练的激活函数

    本研究介绍一种可训练的混合激活函数方案，Adaptive Blending Units（ABUs），相比与传统方法具有自适应调整比例的能力，在实验中证明了 ABUs 和自适应缩放在训练效率等方面的优势，同时也探讨了其原理。

    Jun, 2018

  • 深度学习中的激活函数：综述和基准比较

    本论文综述了深度学习神经网络中激活函数的综合评估与调查，并对不同类型的激活函数进行了分类和性能比较。

    Sep, 2021

  • 可训练激活函数的稀疏神经网络贝叶斯优化

    本文提出了一种可训练的激活函数，使用贝叶斯建模自动估计学习数据中的模型权重和激活函数参数，并使用基于 MCMC 的优化方案进行推断，通过使用有效的采样方案来提高收敛速度并减少过度拟合问题，取得了良好的检验结果，并通过激活函数提高了模型的准确性。

    Apr, 2023

  • 自适应激活函数加速深度和物理学知识神经网络的收敛

    采用自适应激活函数进行深度和物理知识神经网络中的回归以逼近光滑和不连续函数以及线性和非线性偏微分方程的解。该方法通过在激活函数中引入可扩展的超参数，并考虑前向问题和反向问题，显着提高了神经网络学习能力和近似解决方案的收敛速度、准确度和鲁棒性。

    Jun, 2019