适应性参数化突破激活函数瓶颈

NIPSMay, 2018

Breaking the Activation Function Bottleneck through Adaptive Parameterization

Sebastian Flennerhag, Hujun Yin, John Keane, Mark Elliot

TL;DR本文提出一种新的神经网络 feed-forward layer 的灵活适应参数化方法，设计出一个新式适应性 LSTM 网络并在 Penn Treebank 和 WikiText-2 词模型任务中实现了卓越表现，使用的参数更少，收敛迭代次数减少一半以上。

Abstract

Standard neural network architectures are non-linear only by virtue of a simple element-wise activation function, making them both brittle and excessively large. In this paper, we consider methods for making the feed-fo

neural network feed-forward layer parameterization lstm conditional adaptation

发现论文，激发创造

学习激活函数以提高深度神经网络性能

使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在 CIFAR-10 等数据集上取得了最先进的表现。

Dec, 2014

学习激活函数的组合

本文介绍了两种自动学习不同激活函数组合的方法，并在三个标准数据集上与著名的体系结构进行了比较，显示了整体性能的显着改进。

Jan, 2018

激活瓶颈：Sigmoid 神经网络无法预测一条直线

神经网络激活瓶颈波动图像无限序列网络体系结构简化

Jun, 2024

抬升神经网络

本文提出一种新型的神经网络构架，利用基于惩罚项的训练问题来编码激活函数，这种框架可以被应用于 block-coordinate descent 算法中，该算法可以在每次迭代中通过并行化数据点和 / 或层数来解决简单（没有隐藏层）的监督学习问题，实验结果表明该方法为标准神经网络提供了极佳的初始权重估计，并且对于使用参数优化激活函数、对抗噪声数据的拓展也提供了思路。

May, 2018

稀疏实验数据预测建模的自适应激活函数

本研究旨在通过研究两种类型的自适应激活函数来填补理解有限数据情景下可变激活函数对分类准确性和预测不确定性的影响的重要空白。研究结果表明，具有个体训练参数的自适应激活函数（如 ELU 和 Softplus）能够产生准确且自信的预测模型，优于固定形状激活函数和在隐藏层中使用相同可训练激活函数的不太灵活的方法。因此，该研究提供了在科学和工程问题中设计自适应神经网络的简洁方法。

Feb, 2024

非线性增强的自适应激活函数

通过引入具有偶次立方非线性的简单实现的激活函数，可以提高神经网络的准确性，而不需要大量的计算资源。这部分是通过收敛性和准确性之间的显著折衷来实现的。该激活函数通过引入可优化参数来增加标准 RELU 函数的自由度，从而调整非线性程度。通过与标准技术的比较，利用 MNIST 数字数据集量化了相关的准确性提升。

Mar, 2024

一种针对线性神经网络的新阐释

线性回归和神经网络广泛用于建模数据。我们提出的研究中，通过对 LNN 的优化分析和与线性回归在合成噪声数据集上的性能比较，证明了没有激活函数的神经网络在训练和测试性能方面都会降低。

Dec, 2023

自适应激活函数加速深度和物理学知识神经网络的收敛

采用自适应激活函数进行深度和物理知识神经网络中的回归以逼近光滑和不连续函数以及线性和非线性偏微分方程的解。该方法通过在激活函数中引入可扩展的超参数，并考虑前向问题和反向问题，显着提高了神经网络学习能力和近似解决方案的收敛速度、准确度和鲁棒性。

Jun, 2019

可适配的适配器

本文提出了一种适应能力强的适配器层，不同数据集可采用不同的激活函数及适配器层，并且可选择最优的适配器层，以达到与标准适配器层相近的性能表现。这种新型适配器层可使模型的存储及训练效率更高，并能在低数据情况下取得更好的性能表现。

May, 2022

增长微小网络：发现并优化表达能力瓶颈

在这篇研究论文中，我们提出了一种新的机器学习方法，通过在训练过程中动态地调整神经网络的架构来解决架构选择和优化问题，从而避免了需要进行昂贵的架构参数优化。我们通过从反向传播中提取信息来检测和解决功能梯度路径上的表达能力瓶颈，从而实现可扩展性并优化训练过程，展示了在 CIFAR 数据集上与大型神经网络准确性相匹配的结果，并在竞争性训练时间内消除了标准架构超参数搜索的需要。

May, 2024