可训练的高表达力激活函数
本研究介绍一种可训练的混合激活函数方案，Adaptive Blending Units（ABUs），相比与传统方法具有自适应调整比例的能力，在实验中证明了ABUs和自适应缩放在训练效率等方面的优势，同时也探讨了其原理。
Jun, 2018
本文系统总结了神经网络领域可训练激活函数的不同模型，提出了这类函数的分类法，并探讨了其优缺点，进一步表明这些方法很多等价于添加使用固定（不可训练）激活函数和一些简单的局部规则来约束相应的权重层的神经元层，从而促进了神经网络的性能。
May, 2020
该研究提出了一种新的神经网络架构-Expressive Neural Network(ENN)，其中非线性激活函数使用离散余弦变换(DCT)建模，并在训练过程中使用反向传播进行自适应，实现了较高的灵活性和表现力，同时可以适应不同的学习任务。经过大量实验证明，ENN的性能超过当前的最先进技术，并在某些场景下提供高达40％的准确性差距。
Jul, 2023
通过研究激活函数的角色，论文揭示了常用的激活函数以及两段式分段线性函数在表达函数时的局限性，并介绍了一种新的N-激活函数，证明其比目前流行的激活函数更具表达能力。
Nov, 2023
训练激活函数APALU在深度学习中具有鲁棒性和适应性，通过提升深度神经网络和递归神经网络在各种任务中的学习性能，以及在图像分类、异常检测和回归任务中广泛应用的激活函数的改进，证明其在不同的深度学习应用中表现出稳定性和效率的特点。
Feb, 2024
介绍了两种新的激活函数，Cone和Parabolic-Cone，相较于常用的ReLU和Sigmoidal类激活函数，在CIFAR-10和Imagenette两个基准测试中明显表现更好。这些激活函数在有限区间内为正，且在区间的端点处变为零，使得神经元可以更精细地将输入特征空间划分为正类和负类，通过较少的超带学习XOR函数，并且在基准测试中达到更高的准确率。此研究表明，在许多非线性真实世界的数据集中，相较于半空间，较少的超带可以实现数据的分离，并且Cone和Parabolic-Cone激活函数具有更大的导数，加速了训练过程。
May, 2024
该论文提出了一种针对图数据在图神经网络（GNN）中的新型激活函数。通过引入DiGRAF（基于连续分段仿射变换的图自适应的可微分激活函数），结合额外的GNN以端到端的方式学习图自适应的微分同胚激活函数，实现激活函数的图自适应性和灵活性。通过在多个数据集和任务上进行广泛的实验，证明了DiGRAF与传统和图特定激活函数相比具有一致且卓越的性能，凸显其作为GNN的激活函数的效果。
Jul, 2024
我们提出了一种新的超表达激活函数，称为参数化基础通用激活函数（PEUAF）。通过在各种工业和图像数据集（包括CIFAR10、Tiny-ImageNet和ImageNet）上进行系统全面的实验，我们证明了PEUAF的有效性。此外，我们通过展示任意连续函数可以用具有特定超表达激活函数的固定大小网络以任意精度逼近的方法，显著推广了超表达激活函数的族群，这在最近的几个研究中已经得到证明。具体地，我们的工作解决了两个限制超表达激活函数发展的主要瓶颈：超表达函数的有限识别可能性，使得人们对其广泛适用性产生疑问，以及其常见的奇怪形式，导致人们对其在实际应用中的可扩展性和实用性产生怀疑。
Jul, 2024
本研究解决了不同深度学习模型对激活函数的不同需求这一问题。通过提出一种结合基本数学运算的细粒度搜索单元，本文能够高效识别适用特定应用的高性能激活函数，从而大幅提升模型性能。研究结果表明，该自动化过程比以往方法效率高出几个数量级，具有广泛的实用价值。
Aug, 2024