Aug, 2023

TSSR：神经网络的截断有符号平方根激活函数

PDF
TL;DR本文介绍了一种名为 Truncated and Signed Square Root (TSSR) 的新型激活函数，具有奇、非线性、单调和可微分的特点，其梯度是连续且始终为正。多个实验证实，所提出的 TSSR 比其他最先进的激活函数具有更好的性能。该函数对于神经网络模型的发展具有重要意义，并可应用于计算机视觉、自然语言处理和语音识别等领域的广泛应用。
activation functionsneural networkstruncated and signed square root functionnumerical stabilityperformance
发现论文，激发创造
  • 在数据约束下，利用平方 Sigmoid TanH（SST）激活增强顺序模型性能

    我们提出了一种名为 SST 激活函数的方法，用于增强顺序模型在数据约束下的学习能力，并通过对手势语言识别、回归和时间序列分类等任务的实验验证，表明 SST 模型相比基线激活的循环神经网络模型具有更好的测试准确性。

    Feb, 2024

  • STL：一种用于神经网络的带符号和截断的对数激活函数

    本文介绍了一种新的符号截断对数函数作为激活函数，它具有明显更好的数学性质，如奇函数、单调性、可微性、具有无界值范围以及连续非零梯度，因此成为激活函数的卓越选择。通过与其他知名激活函数在几个著名神经网络上的比较，结果证实该函数为最先进的。该建议的激活函数可应用于激活函数必要的大范围神经网络。

    Jul, 2023

  • S++: 面向隐私保护神经网络训练的快速可部署安全计算框架

    介绍了 S ++ 框架，用于使用安全共享函数计算的方式，从多个来源训练 NN, 并提供快速和可验证的协议计算所有常见的激活函数.

    Jan, 2021

  • 一个非单调平滑激活函数

    本研究提出了一种名为 Sqish 的新型激活函数，作为现有激活函数的替代品，我们展示了它在分类、目标检测、分割任务和对抗性鲁棒性实验中的优越性，在 CIFAR100 数据集上，使用 ShuffleNet V2 模型在 FGSM 对抗攻击中，相较于 ReLU 取得了 8.21% 的改进，并且在 CIFAR100 数据集上，使用 ShuffleNet V2 模型进行图像分类，相较于 ReLU 取得了 5.87% 的改进。

    Oct, 2023

  • 潜在辅助网络：在强化学习中重新发现双曲正切函数

    通过研究激活函数对死神经元和有效秩大小的影响，本文提出了一个新的神经网络结构，并展示了在 Atari 领域中学习速度更快、死神经元减少和有效秩增加的结果。

    Jun, 2024

  • 修正饱和激活函数

    本文在深度神经网络中研究常用的饱和函数：logistic sigmoid 和双曲正切 (tanh)，发现使用 logistic sigmoid 函数训练困难的原因不仅在于其非零中心属性，还在于其在原点附近的斜率过大。通过适当的重新调整，logistic sigmoid 和 tanh 函数的性能相当。接着，通过在负部分加罚项可以改进 tanh 函数，形成了 “带惩罚的 tanh” 函数，其性能甚至优于 ReLu 和 Leaky ReLU 等饱和函数。本文的结果与之前的研究结论产生冲突，表明有必要进一步研究深度架构中的激活函数。

    Feb, 2016

  • 神经网络激活函数的作用

    本文通过样条理论的角度展示了神经网络训练问题与函数的 Banach 空间有关，进一步论述了 ReLU 等激活函数的重要性，解释了神经网络设计与训练策略如何影响其性能，并为路径范数正则化及跳连等策略提供了新的理论支持。

    Oct, 2019

  • 探索关系：变换自适应激活函数与其他激活函数的比较

    TAAFs 是一种具有任意垂直和水平平移缩放的新型自适应激活函数，它广义地归纳了 50 多种现有激活函数和 70 多种其他激活函数的类似概念，证明了其作为一种有前景且适应性强的神经网络增强方法。

    Feb, 2024

  • 神经网络训练与 ETR 的复杂度：有效连续函数扩展

    本文研究了使用不同激活函数定义的神经网络的训练问题的复杂性，证明了 sigmoid 激活函数导致的训练问题多项式时间可约化到存在性理论中，但是对于正弦激活函数的训练问题是不可判定的，并给出了限制条件下的训练问题的复杂性的上界。

    May, 2023

  • TSS: 用于鲁棒性认证的转换特定平滑

    本文提出了一个名为 TSS 的框架，用于证明机器学习算法具有普适的鲁棒性，能够有效地抵御各种对抗性的语义转换和攻击，特别是在图像分类领域中，对于像旋转，高斯模糊等紧密的语义转换表现出了优秀的鲁棒性。

    Feb, 2020