Apr, 2023

放大正弦单元：一种用于深度神经网络的振荡激活函数，以有效恢复非线性振动

PDF
TL;DR通过引入具有振荡激活功能的深度神经网络结构，本文提出了一种应对微电机系统中非线性振动问题的方法，其中还使用了一些振荡和非振荡激活功能以进行综合分析；实验结果表明，此设计网络是更可靠和稳健的，可以有效应对非线性和振动的挑战。
发现论文，激发创造
  • ASU-CNN：一种高效的深度图像分类和特征可视化架构

    本文提出了一种名为 ASU-CNN 的卷积神经网络模型，使用新设计的激活函数 ASU，该函数具有非单调和振荡的特点，在不同的卷积层中通过特征图可视化检查了本文提出的模型的优化，该模型使用 Adam 进行优化，fine-tuned learning rate 等参数，实验结果表明了该模型在计算机视觉领域相关任务的计算可行性和有效性。在 CIFAR-10 分类方面，预测结果是非常有前途的。

    May, 2023

  • 饱和非单调激活函数

    本文提出了一种新的非单调激活函数 SGELU，SSiLU 和 SMish，它们由 ReLU 的正部分和 GELU、SiLU 和 Mish 的负部分组成。实验结果表明，这些新的激活函数在多个深度学习架构上具有高效性能。

    May, 2023

  • 一个非单调平滑激活函数

    本研究提出了一种名为 Sqish 的新型激活函数，作为现有激活函数的替代品，我们展示了它在分类、目标检测、分割任务和对抗性鲁棒性实验中的优越性，在 CIFAR100 数据集上，使用 ShuffleNet V2 模型在 FGSM 对抗攻击中，相较于 ReLU 取得了 8.21% 的改进，并且在 CIFAR100 数据集上，使用 ShuffleNet V2 模型进行图像分类，相较于 ReLU 取得了 5.87% 的改进。

    Oct, 2023

  • 神经网络激活函数电路的设计空间探索

    本研究探讨了利用组合电路高效实现非线性激活函数（如 SELU 和 tanh）的方法，在 MNIST、CIFAR-10 和 IMAGENET 基准测试中表现出很高的效率和精度，相比于 LUT / 存储器实现可以节省 3.13-7.69 和 4.45-8:45 的面积，能够分别在 5.14GHz 和 4.52GHz 的时钟频率下运行。

    Sep, 2018

  • 非线性增强的自适应激活函数

    通过引入具有偶次立方非线性的简单实现的激活函数，可以提高神经网络的准确性，而不需要大量的计算资源。这部分是通过收敛性和准确性之间的显著折衷来实现的。该激活函数通过引入可优化参数来增加标准 RELU 函数的自由度，从而调整非线性程度。通过与标准技术的比较，利用 MNIST 数字数据集量化了相关的准确性提升。

    Mar, 2024

  • 自适应激活函数加速深度和物理学知识神经网络的收敛

    采用自适应激活函数进行深度和物理知识神经网络中的回归以逼近光滑和不连续函数以及线性和非线性偏微分方程的解。该方法通过在激活函数中引入可扩展的超参数，并考虑前向问题和反向问题，显着提高了神经网络学习能力和近似解决方案的收敛速度、准确度和鲁棒性。

    Jun, 2019

  • 嘈杂的激活函数

    通过注入适当的噪声来解决神经网络中激活函数饱和行为带来的训练困难，并实现优化过程的探索边缘及难优化目标的最优解。

    Mar, 2016

  • 随机自适应激活函数

    本文提出了一种简单而有效的激活函数 Adaptive SwisH（ASH），可用于深度学习模型中，提高了准确性、泛化性和收敛速度。该函数基于神经元位置和输入上下文自适应地调整阈值和激活方法，并具有可训练的特性。

    Oct, 2022

  • HOSC: 保留隐式神经表示中锐利特征的周期性激活函数

    本文介绍了一种新的激活函数 —— 超半波振荡函数（HOSC），其具有可控的锐度参数，并且相比于现有的激活函数，HOSC 更好地捕捉了输入信号的突变和锐利特征以及平滑的低频过渡。我们将 HOSC 与其他流行的激活函数进行了对比，并在多个一般任务中经验性地展示了 HOSC 所得到表示的质量的提升，并提供了 HOSC 有效性背后的数学原理以及讨论了它的局限性。

    Jan, 2024

  • 线性振荡：视觉变换器的混沌美学

    线性振荡（LoC）激活函数是一种与传统激活函数不同的激活函数，它通过将线性轨迹与振荡偏移相融合，将混乱的元素引入到神经网络的学习中，以更好地捕捉微妙的模式，并取得比 ReLU 和 Sigmoid 等传统激活函数更好的性能。这项研究凸显了精心选择激活函数在塑造神经网络训练的未来方面的重要作用。

    Aug, 2023