- 可训练激活函数的稀疏神经网络贝叶斯优化
本文提出了一种可训练的激活函数，使用贝叶斯建模自动估计学习数据中的模型权重和激活函数参数，并使用基于 MCMC 的优化方案进行推断，通过使用有效的采样方案来提高收敛速度并减少过度拟合问题，取得了良好的检验结果，并通过激活函数提高了模型的准确 - 深度稳定神经网络的无限宽度极限：次线性、线性和超线性激活函数
本研究探讨了具有稳定分布参数的深度神经网络的大宽度特性，结果表明稳定 NNs 的缩放和其无限宽极限的稳定性可能取决于激活函数的选择。
- 通过激活函数发现和自动权重初始化优化神经网络
该论文介绍了发现更强大的激活函数和建立更稳健的神经网络权重初始化的技术，改进了 AutoML 的性能，提供了神经网络优化的新视角，使自动机器学习有了更进一步的发展。
- SemEval-2023 任务 11：软硬标签预测中激活函数的比较
本文研究了应用不同的激活函数在深度神经网络模型的输出层上对于软或硬标签预测在学习中的不一致性任务上的影响，并使用 BERT 模型进行预处理和编码，并在保持其他参数不变的情况下改变输出层所使用的激活函数。最后使用软标签进行硬标签预测。本文提出 - 流行人工神经网络激活函数的统一
我们提出了一种统一的神经网络激活函数表示形式，采用分数阶微积分的 Mittag-Leffler 函数，该形式能够插值不同的激活函数并减轻神经网络训练中普遍存在的梯度消失和梯度爆炸等问题。使用 Lenet-5 神经网络在 MNIST 和 CI - APTx：比深度学习中使用的 MISH、SWISH 和 ReLU 变种更好的激活函数
该研究论文介绍了不同类型的激活函数对于深度学习的影响，提出了新的激活函数 APTx，其计算速度比 MISH 更快，但效果相近，同时可以有效减少深度学习的计算资源消耗。
- 通用激活函数的快速神经核嵌入
本文提出了一种基于截断埃尔米特函数的方法，用于近似计算任何多层神经网络的高斯过程核（NNGP）和神经切向核（NTK）矩阵，同时克服了其他方法中数据点必须在单位球上的限制，可适用于任何 $R^d$ 空间中的点集。实验证明，相对于精确的卷积神经 - ACL可学习激活函数的 Transformer
本研究探讨了在 Transformer 架构中使用可学习激活函数 Rational Activation Function（RAF）的有效性，并表明基于 RAF 的 Transformer（RAFT）相对于使用 GELU 函数的原始 BER - 标准化激活函数：迈向更好收敛
本论文研究了激活函数对神经网络梯度方差的影响，并提出了一种对激活函数进行归一化的方法，以保持所有层的梯度方差相同，从而提高神经网络的收敛性。研究发现，归一化激活函数可显著提高模型性能。
- CVPR使用渐进式集成激活方法免费提升 ReLU 网络的性能
本文提出了一种方法 —— 使用一些高效的激活函数，用于训练 ReLU 网络，提高了在 ImageNet 上分类任务的实验精确度，同时还对 Cityscapes 数据集的语义分割网络的性能提升了 0.34％mIOU。
- CVPR基于先验指导的一次性神经架构搜索
本文介绍一种名为 Prior-Guided One-shot NAS 的神经架构搜索方法，它采用平衡采样策略、FLOPs 和 Zen-Score 等机制来加强超级网络的排名相关性，取得了 CVPR2022 第二轻量化 NAS 挑战赛超级网络 - 随机特征回归模型的最优激活函数
针对随机特征回归模型（RFR）的渐近均方测试误差和灵敏度进行了深入研究，找到了一系列在不同的函数简洁性定义下最小化 RFR 测试误差和灵敏度的激活函数族，并确定了优化的激活函数在 RFR 模型的特定属性下的影响。
- ACL可适配的适配器
本文提出了一种适应能力强的适配器层，不同数据集可采用不同的激活函数及适配器层，并且可选择最优的适配器层，以达到与标准适配器层相近的性能表现。这种新型适配器层可使模型的存储及训练效率更高，并能在低数据情况下取得更好的性能表现。
- 深度学习最近提出的激活函数综述
介绍了人工神经网络中激活函数的主要概念及其作用，讨论了各种激活函数类型、应用、限制和替代方案。
- 利用不可行项之和进行高效的神经网络分析
本文介绍了一种基于凸优化的 Sum-of-Infeasibilities 方法的程序，用于分析神经网络中具有分段线性激活函数的验证查询，通过将激活函数的违反编码为一种成本函数并在凸松弛下进行优化，对于神经网络的完整搜索程序的研究，使得 So - 关于消息传递神经网络作为全局特征图变换器的表达能力
本文探讨了消息传递神经网络（MPNN）在转换其输入图中节点存储的数字特征方面的能力。我们引入了全局特征映射变换器（GFMT）的概念，并以 GFMT 的基本语言 MPLang 作为表现能力的标准。我们考虑了精确与近似表现力、任意激活函数的使用 - 自适应 n 元激活函数用于概率布尔逻辑
研究文章探讨了如何使用 n-ary 激活函数来填补高维模型中的可信复杂性和效率计算框架之间的空白，通过梯度优化来逐渐消除过剩复杂度，并使用零参数相关性表示对置信表进行建模和推断，从而加速对参数而非像素的优化。
- 末隐藏层激活的非合理有效性对于对抗性稳健性的影响
研究了在输出层使用高温度值的激活函数对于防御基于梯度的对抗攻击的效果，并在 MNIST 数据集上实验验证了其方式可以显著提高对抗攻击的鲁棒性。
- 用于量子神经网络的量子激活函数
利用量子计算机实现任意解析激活函数的量子算法填补了量子感知机领域的空白，使得任何前馈神经网络都能获得 Hornik 定理的通用逼近性质，从而使得机器学习、模式识别和聚类等问题更易于解决。
- 使用高效的本地 Lipschitz 界限训练保证鲁棒神经网络
本文提出了一种训练算法插件，可以有效地减小神经网络的局部 Lipschitz 上界，以提高神经网络的自然精度和可证明的精度之间的权衡，并在 MNIST、CIFAR-10 和 TinyImageNet 数据集上展示了该方法在不同网络结构下均能