Mar, 2020

TanhExp：一种平滑的激活函数，具有高收敛速度，适用于轻量级神经网络

PDF
TL;DR在轻量级神经网络领域提出了一种名为 TanhExponential 激活函数，可以有效提高无参数增加的网络的图像分类性能。通过不断试验，证明了 TanhExponential 函数对于各种数据集和网络模型的效率，稳定性、收敛速度和准确性优于其它函数。
lightweight neural networksreal-time computer visiontanhexponential activation functionimage classificationconvergence speed
发现论文，激发创造
  • 稳定且鲁棒的深度学习方法：双曲正切指数线性单元（TeLU）

    引入了 Hyperbolic Tangent Exponential Linear Unit（TeLU）作为一种新的神经网络激活函数，通过解决渐变消失和渐变爆炸问题，提高了稳定性和鲁棒性，在各种深度学习应用中表现出卓越的性能，将其视为潜在的新标准。

    Feb, 2024

  • 修正饱和激活函数

    本文在深度神经网络中研究常用的饱和函数：logistic sigmoid 和双曲正切 (tanh)，发现使用 logistic sigmoid 函数训练困难的原因不仅在于其非零中心属性，还在于其在原点附近的斜率过大。通过适当的重新调整，logistic sigmoid 和 tanh 函数的性能相当。接着，通过在负部分加罚项可以改进 tanh 函数，形成了 “带惩罚的 tanh” 函数，其性能甚至优于 ReLu 和 Leaky ReLU 等饱和函数。本文的结果与之前的研究结论产生冲突，表明有必要进一步研究深度架构中的激活函数。

    Feb, 2016

  • 参数泄漏双曲正切：一种用于深度学习的新型混合激活函数

    本文在深度神经网络中提出了 Parametric Leaky Tanh（PLTanh）作为一种新的混合激活函数，结合了 Tanh 和 Leaky ReLU 激活函数的优势，通过保证负输入的梯度非零，解决了 'dying ReLU' 问题，并通过与 ReLU、LReLU 和 ALReLU 在五个不同数据集上的实证评估，展示了 PLTanh 的优势。

    Aug, 2023

  • 神经网络激活函数电路的设计空间探索

    本研究探讨了利用组合电路高效实现非线性激活函数（如 SELU 和 tanh）的方法，在 MNIST、CIFAR-10 和 IMAGENET 基准测试中表现出很高的效率和精度，相比于 LUT / 存储器实现可以节省 3.13-7.69 和 4.45-8:45 的面积，能够分别在 5.14GHz 和 4.52GHz 的时钟频率下运行。

    Sep, 2018

  • Swish-T: 提升 Swish 激活函数的性能的 Tanh 偏置

    我们提出了 Swish-T 系列，它是对现有非单调激活函数 Swish 的一种改进。通过在原始 Swish 函数中添加 Tanh 偏置来定义 Swish-T，我们创建了一系列 Swish-T 变体，每种变体都在不同的任务中表现出卓越性能，并展示了根据应用环境的具体优势。通过这种修改，Swish-T 在初始训练阶段比原始 Swish 函数提供更广泛的负值接受范围，呈现出更平滑的非单调曲线。我们最终提出了 Swish-T$_{extbf {C}}$ 函数，而 Swish-T 和 Swish-T$_{extbf {B}}$ 则是 Swish-T$_{extbf {C}}$ 的副产品，它们也展示了令人满意的性能。此外，我们的消融研究表明，将 Swish-T$_{extbf {C}}$ 作为非参数函数仍然可以实现高性能。Swish-T 系列的优越性在各种模型和基准数据集上进行了经验证明，包括 MNIST、Fashion MNIST、SVHN、CIFAR-10 和 CIFAR-100。代码公开可用于 “this https URL”。

    Jul, 2024

  • 具有矩阵指数激活函数的三层网络的解析解

    本文通过找到具有矩阵指数激活函数的三层网络的解析解，证明了深度和非线性激活函数的能力，表明深层网络比浅层网络更强大，且一层网络只能解决一个方程。

    Jul, 2024

  • TaLU: 一种混合 Tanh 和 ReLU 的激活函数，用于增强神经网络

    本文研究使用一种名为 TaLU 的激活函数来提高深度学习模型的分类准确度，该激活函数是 Tanh 和 ReLU 的组合，能够缓解 ReLU 的梯度消失问题，并在 MNIST 和 CIFAR-10 数据集上实现了 0％至 6％不等的准确度提高。

    May, 2023

  • 标准化激活函数：迈向更好收敛

    本论文研究了激活函数对神经网络梯度方差的影响，并提出了一种对激活函数进行归一化的方法，以保持所有层的梯度方差相同，从而提高神经网络的收敛性。研究发现，归一化激活函数可显著提高模型性能。

    Aug, 2022

  • ErfReLU: 深度神经网络自适应激活函数

    本文介绍了一种基于 Erf 函数和 ReLU 的新型激活函数 'ErfReLU'，并比较了其与其他 9 种可训练激活函数在 CIFAR-10，MNIST 和 FMNIST 基准数据集上应用于 MobileNet，VGG16，ResNet 模型的性能分析。

    Jun, 2023

  • 学习激活函数的组合

    本文介绍了两种自动学习不同激活函数组合的方法，并在三个标准数据集上与著名的体系结构进行了比较，显示了整体性能的显着改进。

    Jan, 2018