稳定且鲁棒的深度学习方法:双曲正切指数线性单元(TeLU)
本文研究使用一种名为 TaLU 的激活函数来提高深度学习模型的分类准确度,该激活函数是 Tanh 和 ReLU 的组合,能够缓解 ReLU 的梯度消失问题,并在 MNIST 和 CIFAR-10 数据集上实现了 0%至 6%不等的准确度提高。
May, 2023
本研究探讨了利用组合电路高效实现非线性激活函数(如 SELU 和 tanh)的方法,在 MNIST、CIFAR-10 和 IMAGENET 基准测试中表现出很高的效率和精度,相比于 LUT / 存储器实现可以节省 3.13-7.69 和 4.45-8:45 的面积,能够分别在 5.14GHz 和 4.52GHz 的时钟频率下运行。
Sep, 2018
本文提出了高性能的神经网络激活函数 ——Gaussian Error Linear Unit(GELU),它的非线性性能优于 ReLU 和 ELU,并在所有涉及的计算机视觉、自然语言处理和语音任务中均实现了性能提升。
Jun, 2016
本文通过数学方法详细地探究了 GELU 激活函数的不同 iability,boundedness,stationarity 和 smoothness 属性,并在 CIFAR-10、CIFAR-100 和 STL-10 数据集上进行了广泛的实验比较,结果表明 GELU 比其他激活函数具有更好的性能,为深度学习应用提供了一种适用的激活函数选择。
May, 2023
引入了 “指数线性单元”(ELU),可以提高深度神经网络的学习速度和分类准确性,相较于其他激活函数,ELU 具有更好的学习特征和更低的计算复杂度,能够在输入数据中编码特定现象的存在程度,并在实验中取得比其他激活函数更快的学习和更好的泛化表现,是目前 CIFAR-100 最好的分类结果之一。
Nov, 2015
探索使用反正切作为门控机制的自门控激活函数,该函数具有单调递增的一阶导数,通过引入每个 MLP 块的可训练参数来扩展门控函数的范围,实验证明这种技术改善了现有的自门控激活函数,并在 Transformer 架构中显示出优越性能。扩展的门控范围还显示了改善一阶门控线性单元 (GLU) 的有希望的结果。
May, 2024
本文在深度神经网络中提出了 Parametric Leaky Tanh(PLTanh)作为一种新的混合激活函数,结合了 Tanh 和 Leaky ReLU 激活函数的优势,通过保证负输入的梯度非零,解决了 'dying ReLU' 问题,并通过与 ReLU、LReLU 和 ALReLU 在五个不同数据集上的实证评估,展示了 PLTanh 的优势。
Aug, 2023
本文提出了一种新的非单调激活函数 SGELU,SSiLU 和 SMish,它们由 ReLU 的正部分和 GELU、SiLU 和 Mish 的负部分组成。实验结果表明,这些新的激活函数在多个深度学习架构上具有高效性能。
May, 2023