学习激活函数以提高深度神经网络性能

ICLRDec, 2014

学习激活函数以提高深度神经网络性能

Learning Activation Functions to Improve Deep Neural Networks

Forest Agostinelli, Matthew Hoffman, Peter Sadowski, Pierre Baldi

TL;DR使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在 CIFAR-10 等数据集上取得了最先进的表现。

Abstract

artificial neural networks typically have a fixed, non-linear activation function at each neuron. We have designed a novel form of piecewise linear activation function that is learned independently for each neuron using gradient descent. With this adaptive activation function, we are a

artificial neural networks piecewise linear activation function deep neural network architectures state-of-the-art performance cifar-10

发现论文，激发创造

学习激活函数的组合

本文介绍了两种自动学习不同激活函数组合的方法，并在三个标准数据集上与著名的体系结构进行了比较，显示了整体性能的显着改进。

Jan, 2018

通过动态激活函数优化前馈和卷积神经网络的性能

复杂的分段线性激活函数在浅层和深层卷积神经网络中比 ReLu 激活函数效果更好，并使用 PyTorch 进行结果比较。

Aug, 2023

发现参数激活函数

本文提出了一种使用进化搜索和梯度下降优化参数的方法来自动定制激活函数，实现对深度学习网络性能的可靠优化，验证结果表明该方法可以用作新任务的自动优化步骤。

Jun, 2020

非线性增强的自适应激活函数

通过引入具有偶次立方非线性的简单实现的激活函数，可以提高神经网络的准确性，而不需要大量的计算资源。这部分是通过收敛性和准确性之间的显著折衷来实现的。该激活函数通过引入可优化参数来增加标准 RELU 函数的自由度，从而调整非线性程度。通过与标准技术的比较，利用 MNIST 数字数据集量化了相关的准确性提升。

Mar, 2024

自适应激活函数加速深度和物理学知识神经网络的收敛

采用自适应激活函数进行深度和物理知识神经网络中的回归以逼近光滑和不连续函数以及线性和非线性偏微分方程的解。该方法通过在激活函数中引入可扩展的超参数，并考虑前向问题和反向问题，显着提高了神经网络学习能力和近似解决方案的收敛速度、准确度和鲁棒性。

Jun, 2019

一个非单调平滑激活函数

本研究提出了一种名为 Sqish 的新型激活函数，作为现有激活函数的替代品，我们展示了它在分类、目标检测、分割任务和对抗性鲁棒性实验中的优越性，在 CIFAR100 数据集上，使用 ShuffleNet V2 模型在 FGSM 对抗攻击中，相较于 ReLU 取得了 8.21% 的改进，并且在 CIFAR100 数据集上，使用 ShuffleNet V2 模型进行图像分类，相较于 ReLU 取得了 5.87% 的改进。

Oct, 2023

深度神经网络 MNIST 分类任务的非线性激活函数比较

本文介绍了常见的非线性激活函数，并对它们的特点进行了评估。同时，分析了深层神经网络及其与权重初始化方法的关系，其中将特别关注节点的入度和出度对整个网络的影响。

Apr, 2018

自适应混合单元：深度神经网络中可训练的激活函数

本研究介绍一种可训练的混合激活函数方案，Adaptive Blending Units（ABUs），相比与传统方法具有自适应调整比例的能力，在实验中证明了 ABUs 和自适应缩放在训练效率等方面的优势，同时也探讨了其原理。

Jun, 2018

用于深度和物理语境下神经网络的具有斜率恢复项的局部自适应激活函数

本文提出了两种局部自适应激活函数的方法，分别是逐层自适应激活函数和逐神经元自适应激活函数，它们能够提高深度学习和物理信息神经网络的性能。通过引入每个神经元和每个层级的可扩展参数，我们实现了激活函数的局部调整，并使用一种变种随机梯度下降算法进行优化。此外，本文还采用了基于激活坡度的坡度恢复项以加快训练速度。我们证明了该方法的梯度下降算法在初始化和学习速率等实际条件下不会被吸引到亚最优临界点或局部最小值，而且该方法的梯度动态是不可实现基本方法的任何 (自适应) 学习速率。本文还证明了自适应激活方法通过隐式地乘以条件矩阵来加速基本方法的梯度，并且不需要任何明确的条件矩阵和矩阵向量乘积计算。不同的自适应激活函数说明了产生不同的隐含条件矩阵。此外，本文提出的具有坡度恢复的方法已经被证明可以加速训练过程。

Sep, 2019

深度神经网络分类任务中非线性激活函数的经验性分析

本研究总结了神经网络架构中几种非线性激活函数的使用情况，并对这些函数在 MNIST 分类任务上的效果进行了实证分析，以确定哪些函数能够产生最佳结果。基于这些结果，研究了构建具有不同数量隐藏层的深度架构以及使用不同的初始化方案对神经网络的影响。最终提供了一个最优的神经网络架构，可在 MNIST 分类任务中获得令人印象深刻的准确度。

Oct, 2017