本研究探讨了利用组合电路高效实现非线性激活函数（如 SELU 和 tanh）的方法，在 MNIST、CIFAR-10 和 IMAGENET 基准测试中表现出很高的效率和精度，相比于 LUT / 存储器实现可以节省 3.13-7.69 和 4.45-8:45 的面积，能够分别在 5.14GHz 和 4.52GHz 的时钟频率下运行。

Sep, 2018

引入了 Hyperbolic Tangent Exponential Linear Unit（TeLU）作为一种新的神经网络激活函数，通过解决渐变消失和渐变爆炸问题，提高了稳定性和鲁棒性，在各种深度学习应用中表现出卓越的性能，将其视为潜在的新标准。

Feb, 2024

本文在深度神经网络中研究常用的饱和函数：logistic sigmoid 和双曲正切 (tanh)，发现使用 logistic sigmoid 函数训练困难的原因不仅在于其非零中心属性，还在于其在原点附近的斜率过大。通过适当的重新调整，logistic sigmoid 和 tanh 函数的性能相当。接着，通过在负部分加罚项可以改进 tanh 函数，形成了 “带惩罚的 tanh” 函数，其性能甚至优于 ReLu 和 Leaky ReLU 等饱和函数。本文的结果与之前的研究结论产生冲突，表明有必要进一步研究深度架构中的激活函数。

Feb, 2016

本文在深度神经网络中提出了 Parametric Leaky Tanh（PLTanh）作为一种新的混合激活函数，结合了 Tanh 和 Leaky ReLU 激活函数的优势，通过保证负输入的梯度非零，解决了 'dying ReLU' 问题，并通过与 ReLU、LReLU 和 ALReLU 在五个不同数据集上的实证评估，展示了 PLTanh 的优势。

Aug, 2023

通过研究激活函数对死神经元和有效秩大小的影响，本文提出了一个新的神经网络结构，并展示了在 Atari 领域中学习速度更快、死神经元减少和有效秩增加的结果。

Jun, 2024

采用自适应激活函数进行深度和物理知识神经网络中的回归以逼近光滑和不连续函数以及线性和非线性偏微分方程的解。该方法通过在激活函数中引入可扩展的超参数，并考虑前向问题和反向问题，显着提高了神经网络学习能力和近似解决方案的收敛速度、准确度和鲁棒性。

Jun, 2019

利用全连接层内的浮点精度作为每个分区内的刚性稀疏性和量化，我们提出了将整个子网络映射到单个查找表（LUT）中的方法，并通过引入跳跃连接来解决梯度消失等挑战，从而显着提高延迟。

Feb, 2024

我们提出了一种统一的神经网络激活函数表示形式，采用分数阶微积分的 Mittag-Leffler 函数，该形式能够插值不同的激活函数并减轻神经网络训练中普遍存在的梯度消失和梯度爆炸等问题。使用 Lenet-5 神经网络在 MNIST 和 CIFAR-10 数据集上训练，我们证明采用统一的门控表示法是传统机器学习框架中内置的激活函数实现的一种有前途且经济的替代方案。

Feb, 2023

在轻量级神经网络领域提出了一种名为 TanhExponential 激活函数，可以有效提高无参数增加的网络的图像分类性能。通过不断试验，证明了 TanhExponential 函数对于各种数据集和网络模型的效率，稳定性、收敛速度和准确性优于其它函数。

Mar, 2020

我们提出了新颖的四元数激活函数，其中修改了四元数的幅度或相位，作为常用分裂激活函数的替代。我们定义了四元数激活函数相关的准则，并基于该分析提出了我们的新颖激活函数。这些激活函数考虑了四元数的特性和四元数空间 H，通过利用所有四元数的分量计算所有输出分量，从而获得了四元数卷积中的 Hamilton 乘积的优势。我们进一步讨论了所提出的激活函数的导数，发现相位影响的激活函数具有有益的属性。我们对提出的四元数激活函数进行了详细的实验评估，并与基于分裂 ReLU 和分裂双曲正切的方法在 CIFAR-10 和 SVHN 数据集上进行了比较。在其中，尤其是影响相位的四元数激活函数始终提供更好的性能。

Jun, 2024