本文提出了一种新颖的激活机制，名为 LayerAct 函数，该函数能够更好地应对输入的波动和噪声，同时在保持零输出均值的同时，实现比传统的元素级激活函数更好的噪声鲁棒性，实验结果表明，这些函数在处理噪声图像数据集方面表现出色，同时在大多数情况下，对于清晰的图像数据集的性能也更优秀。

Jun, 2023

通过结合神经元和层级两种方法，本研究提出了一种混合截断激活函数，用于增强深度神经网络在硬件故障下的可靠性，并引入了一种渐进训练方法（ProAct）以获得截断激活函数的最佳阈值。

Jun, 2024

该研究提出了两种新的可训练激活函数，ErfAct 和 Pserf，实验表明，相对于 ReLU、Swish 和 Mish 等广泛使用的激活函数，使用 ErfAct 和 Pserf 在神经网络中能够显著提高网络性能.

Sep, 2021

使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在 CIFAR-10 等数据集上取得了最先进的表现。

Dec, 2014

为了满足物联网和边缘计算中高效人工智能的需求，本研究提出了 RepAct，这是一个可以重新参数化的自适应激活函数，专为在边缘设备的计算限制下优化轻量级神经网络而设计。通过采用可学习的自适应权重的多分支结构，RepAct 丰富了特征处理并增强了跨层解释性。在图像分类和目标检测等任务上进行评估时，RepAct 在轻量级网络中表现出色，对于 ImageNet100 数据集的 MobileNetV3-Small，准确率提升高达 7.92％，同时保持与 HardSwish 相当的计算复杂度。这种创新方法不仅最大程度地提高了模型参数效率，还显著改进了轻量级神经网络的性能和理解能力，展示了在实时边缘计算应用中的潜力。

Jun, 2024

使用随机过程模型神经网络中的激活模式，从而提供关于网络行为的有价值洞见。

Aug, 2023

通过将每个神经元的输出调整为其上下文分布，本文提出了量化激活（QACT）方法，该方法在简单网络中输出样本在其上下文分布中的相对分位数，以实现跨分布的更好泛化。我们验证了该方法在几个实验设置上的有效性，并将其与传统技术进行比较，结果表明我们在对抗扭曲的不同架构下实现了显著更高的泛化性能。尽管本文只是一个概念验证，但令人惊讶的是，即使 DINOv2 使用更大的网络和更大的数据集进行训练，在大的扭曲下该方法依然胜过 DINOv2（small）模型。

May, 2024

本文提出了一种可训练的激活函数，使用贝叶斯建模自动估计学习数据中的模型权重和激活函数参数，并使用基于 MCMC 的优化方案进行推断，通过使用有效的采样方案来提高收敛速度并减少过度拟合问题，取得了良好的检验结果，并通过激活函数提高了模型的准确性。

Apr, 2023

本文使用拓扑数据分析探究深度神经网络内部层的神经元激活，使用 TopoAct 可视化系统展示获取的激活向量的拓扑信息，为深度神经网络学习表示提供有价值的洞见和可视化工具。

Dec, 2019

本文介绍了两种轻量级的方法，使具有概率性的深层网络的监督学习变得实用，首先，我们建议使用分类和回归的概率性输出层，其对现有网络只需进行最小的更改，其次，我们使用假设密度过滤（assumed density filtering）并展示如何将激活不确定性以实用的方式传播到整个网络中，这两种概率性网络保留了确定性网络的预测能力，但产生与其预测引起的经验误差相关的不确定性。

May, 2018