May, 2023

TaLU: 一种混合 Tanh 和 ReLU 的激活函数，用于增强神经网络

PDF
TL;DR本文研究使用一种名为 TaLU 的激活函数来提高深度学习模型的分类准确度，该激活函数是 Tanh 和 ReLU 的组合，能够缓解 ReLU 的梯度消失问题，并在 MNIST 和 CIFAR-10 数据集上实现了 0％至 6％不等的准确度提高。
发现论文，激发创造
  • 稳定且鲁棒的深度学习方法：双曲正切指数线性单元（TeLU）

    引入了 Hyperbolic Tangent Exponential Linear Unit（TeLU）作为一种新的神经网络激活函数，通过解决渐变消失和渐变爆炸问题，提高了稳定性和鲁棒性，在各种深度学习应用中表现出卓越的性能，将其视为潜在的新标准。

    Feb, 2024

  • 参数泄漏双曲正切：一种用于深度学习的新型混合激活函数

    本文在深度神经网络中提出了 Parametric Leaky Tanh（PLTanh）作为一种新的混合激活函数，结合了 Tanh 和 Leaky ReLU 激活函数的优势，通过保证负输入的梯度非零，解决了 'dying ReLU' 问题，并通过与 ReLU、LReLU 和 ALReLU 在五个不同数据集上的实证评估，展示了 PLTanh 的优势。

    Aug, 2023

  • 深度学习中的 GELU 激活函数：全面的数学分析和性能评估

    本文通过数学方法详细地探究了 GELU 激活函数的不同 iability，boundedness，stationarity 和 smoothness 属性，并在 CIFAR-10、CIFAR-100 和 STL-10 数据集上进行了广泛的实验比较，结果表明 GELU 比其他激活函数具有更好的性能，为深度学习应用提供了一种适用的激活函数选择。

    May, 2023

  • 发现参数激活函数

    本文提出了一种使用进化搜索和梯度下降优化参数的方法来自动定制激活函数，实现对深度学习网络性能的可靠优化，验证结果表明该方法可以用作新任务的自动优化步骤。

    Jun, 2020

  • 神经网络激活函数电路的设计空间探索

    本研究探讨了利用组合电路高效实现非线性激活函数（如 SELU 和 tanh）的方法，在 MNIST、CIFAR-10 和 IMAGENET 基准测试中表现出很高的效率和精度，相比于 LUT / 存储器实现可以节省 3.13-7.69 和 4.45-8:45 的面积，能够分别在 5.14GHz 和 4.52GHz 的时钟频率下运行。

    Sep, 2018

  • 寻找激活函数

    本文提出利用自动搜索技术发现新的激活函数。通过详尽和强化学习的结合搜索，发现了多个新型激活函数，其中最佳的发现激活函数（称为 Swish）在许多困难数据集上比 ReLU 更有效。

    Oct, 2017

  • 指数线性单元（ELUs）加速和提高深层网络学习的准确性

    引入了 “指数线性单元”（ELU），可以提高深度神经网络的学习速度和分类准确性，相较于其他激活函数，ELU 具有更好的学习特征和更低的计算复杂度，能够在输入数据中编码特定现象的存在程度，并在实验中取得比其他激活函数更快的学习和更好的泛化表现，是目前 CIFAR-100 最好的分类结果之一。

    Nov, 2015

  • 神经网络激活函数的作用

    本文通过样条理论的角度展示了神经网络训练问题与函数的 Banach 空间有关，进一步论述了 ReLU 等激活函数的重要性，解释了神经网络设计与训练策略如何影响其性能，并为路径范数正则化及跳连等策略提供了新的理论支持。

    Oct, 2019

  • APALU：一种用于深度学习网络的可训练自适应激活函数

    训练激活函数 APALU 在深度学习中具有鲁棒性和适应性，通过提升深度神经网络和递归神经网络在各种任务中的学习性能，以及在图像分类、异常检测和回归任务中广泛应用的激活函数的改进，证明其在不同的深度学习应用中表现出稳定性和效率的特点。

    Feb, 2024

  • 深度网络近似：超越 ReLU，使用多样激活函数

    本文研究深度神经网络对各种激活函数的表达能力，并证明可在任意有界集合上以稍大的常数精度近似任意激活函数的神经网络。

    Jul, 2023