Jan, 2023

模数作为计算机视觉应用中的激活函数的实证研究

PDF
TL;DR本文提出了一种新的非单调激活函数 —— 模函数，在计算机视觉任务中使用该函数可以使模型相对于其他非线性函数具有更好的泛化能力，同时还能解决梯度消失和神经元失活问题，这种简单易用的函数对于 TinyML 和硬件应用尤其适用。
non-monotonic activation functionmoduluscomputer vision tasksaccuracy increasetinyml
发现论文，激发创造
  • 一个非单调平滑激活函数

    本研究提出了一种名为 Sqish 的新型激活函数，作为现有激活函数的替代品，我们展示了它在分类、目标检测、分割任务和对抗性鲁棒性实验中的优越性，在 CIFAR100 数据集上，使用 ShuffleNet V2 模型在 FGSM 对抗攻击中，相较于 ReLU 取得了 8.21% 的改进，并且在 CIFAR100 数据集上，使用 ShuffleNet V2 模型进行图像分类，相较于 ReLU 取得了 5.87% 的改进。

    Oct, 2023

  • 饱和非单调激活函数

    本文提出了一种新的非单调激活函数 SGELU，SSiLU 和 SMish，它们由 ReLU 的正部分和 GELU、SiLU 和 Mish 的负部分组成。实验结果表明，这些新的激活函数在多个深度学习架构上具有高效性能。

    May, 2023

  • 流行人工神经网络激活函数的统一

    我们提出了一种统一的神经网络激活函数表示形式，采用分数阶微积分的 Mittag-Leffler 函数，该形式能够插值不同的激活函数并减轻神经网络训练中普遍存在的梯度消失和梯度爆炸等问题。使用 Lenet-5 神经网络在 MNIST 和 CIFAR-10 数据集上训练，我们证明采用统一的门控表示法是传统机器学习框架中内置的激活函数实现的一种有前途且经济的替代方案。

    Feb, 2023

  • Moderate Adaptive Linear Units (MoLU)

    提出了一种新的高性能激活函数 MoLU，该函数由基本函数构成，是光滑且在整个定义域上具有无限可微性，可以降低训练时间。

    Feb, 2023

  • 人类可理解神经模型的参数化 Uninorm 样激活函数

    该研究提出了一种基于参数化可导激活函数的深度学习模型，利用尼尔波特模糊逻辑和多准则决策方法来确定学习参数，成功将其应用于 UCI 机器学习数据库中的分类问题，从而找到输入特征间的可解释关系。

    May, 2022

  • ASU-CNN：一种高效的深度图像分类和特征可视化架构

    本文提出了一种名为 ASU-CNN 的卷积神经网络模型，使用新设计的激活函数 ASU，该函数具有非单调和振荡的特点，在不同的卷积层中通过特征图可视化检查了本文提出的模型的优化，该模型使用 Adam 进行优化，fine-tuned learning rate 等参数，实验结果表明了该模型在计算机视觉领域相关任务的计算可行性和有效性。在 CIFAR-10 分类方面，预测结果是非常有前途的。

    May, 2023

  • 深度神经网络分类任务中非线性激活函数的经验性分析

    本研究总结了神经网络架构中几种非线性激活函数的使用情况，并对这些函数在 MNIST 分类任务上的效果进行了实证分析，以确定哪些函数能够产生最佳结果。基于这些结果，研究了构建具有不同数量隐藏层的深度架构以及使用不同的初始化方案对神经网络的影响。最终提供了一个最优的神经网络架构，可在 MNIST 分类任务中获得令人印象深刻的准确度。

    Oct, 2017

  • 非线性增强的自适应激活函数

    通过引入具有偶次立方非线性的简单实现的激活函数，可以提高神经网络的准确性，而不需要大量的计算资源。这部分是通过收敛性和准确性之间的显著折衷来实现的。该激活函数通过引入可优化参数来增加标准 RELU 函数的自由度，从而调整非线性程度。通过与标准技术的比较，利用 MNIST 数字数据集量化了相关的准确性提升。

    Mar, 2024

  • 发现参数激活函数

    本文提出了一种使用进化搜索和梯度下降优化参数的方法来自动定制激活函数，实现对深度学习网络性能的可靠优化，验证结果表明该方法可以用作新任务的自动优化步骤。

    Jun, 2020

  • 神经网络激活函数的经验损失景观分析

    此研究对与神经网络有关的损失景观进行了实证调查，发现修正线性单元产生最凸的损失景观，而指数线性单元产生最不平坦的损失景观，且表现出优越的泛化性能。

    Jun, 2023