通过引入自适应激活函数来解决物理信息神经网络 (PINNs) 的优化困难，该方法可以有效地解决不同问题中的偏微分方程组，并在一系列基准测试中展现了其有效性。

Aug, 2023

本文提出了两种局部自适应激活函数的方法，分别是逐层自适应激活函数和逐神经元自适应激活函数，它们能够提高深度学习和物理信息神经网络的性能。通过引入每个神经元和每个层级的可扩展参数，我们实现了激活函数的局部调整，并使用一种变种随机梯度下降算法进行优化。此外，本文还采用了基于激活坡度的坡度恢复项以加快训练速度。我们证明了该方法的梯度下降算法在初始化和学习速率等实际条件下不会被吸引到亚最优临界点或局部最小值，而且该方法的梯度动态是不可实现基本方法的任何 (自适应) 学习速率。本文还证明了自适应激活方法通过隐式地乘以条件矩阵来加速基本方法的梯度，并且不需要任何明确的条件矩阵和矩阵向量乘积计算。不同的自适应激活函数说明了产生不同的隐含条件矩阵。此外，本文提出的具有坡度恢复的方法已经被证明可以加速训练过程。

Sep, 2019

使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在 CIFAR-10 等数据集上取得了最先进的表现。

Dec, 2014

通过引入具有偶次立方非线性的简单实现的激活函数，可以提高神经网络的准确性，而不需要大量的计算资源。这部分是通过收敛性和准确性之间的显著折衷来实现的。该激活函数通过引入可优化参数来增加标准 RELU 函数的自由度，从而调整非线性程度。通过与标准技术的比较，利用 MNIST 数字数据集量化了相关的准确性提升。

Mar, 2024

本研究旨在通过研究两种类型的自适应激活函数来填补理解有限数据情景下可变激活函数对分类准确性和预测不确定性的影响的重要空白。研究结果表明，具有个体训练参数的自适应激活函数（如 ELU 和 Softplus）能够产生准确且自信的预测模型，优于固定形状激活函数和在隐藏层中使用相同可训练激活函数的不太灵活的方法。因此，该研究提供了在科学和工程问题中设计自适应神经网络的简洁方法。

Feb, 2024

研究探讨了物理信息神经网络（PINN）模型在解决基于输运方程的偏微分方程（PDEs）方面的应用，主要目的是分析在 PINN 模型中不同激活函数对其预测性能的影响，特别是均方误差（MSE）和平均绝对误差（MAE）的评估。研究使用的数据集包含与支柱直径、单元格尺寸以及相应屈服应力值相关的各种输入参数。研究的结果表明，对于这个特定问题，激活函数的选择可能对模型的预测准确性产生较小的影响。PINN 模型展示了出色的泛化能力，表明其能够避免与提供的数据集过度拟合。研究强调了在选择特定实际应用的激活函数时，在性能和计算效率之间取得平衡的重要性。这些宝贵的发现有助于推动 PINN 作为解决各种科学和工程领域中具有挑战性的 PDEs 的有效工具的理解和潜在应用。

Jul, 2023

本研究分析了物理信息神经网络（PINNs）中的剩余损失，并发现了通过研究其在临界点处的特性，找到了实现有效训练的条件。我们的分析揭示了一个良好高阶导数的激活函数在最小化剩余损失中起关键作用，进而提供了设计和选择 PINNs 有效激活函数的理论依据，并解释了为什么周期性激活函数在某些情况下表现出有希望的性能。最后，通过在几个偏微分方程上进行一系列实验验证了我们的发现。

May, 2024

本文中介绍了一种新的非线性激活函数 ——Padé 激活单元 (PAUs)，能够代替传统手动选择的固定激活函数，增加深度神经网络的预测性能和可靠性。

Jul, 2019

我们提出了一种统一的神经网络激活函数表示形式，采用分数阶微积分的 Mittag-Leffler 函数，该形式能够插值不同的激活函数并减轻神经网络训练中普遍存在的梯度消失和梯度爆炸等问题。使用 Lenet-5 神经网络在 MNIST 和 CIFAR-10 数据集上训练，我们证明采用统一的门控表示法是传统机器学习框架中内置的激活函数实现的一种有前途且经济的替代方案。

Feb, 2023

本文介绍了两种自动学习不同激活函数组合的方法，并在三个标准数据集上与著名的体系结构进行了比较，显示了整体性能的显着改进。

Jan, 2018