May, 2023

ASU-CNN：一种高效的深度图像分类和特征可视化架构

PDF
TL;DR本文提出了一种名为 ASU-CNN 的卷积神经网络模型，使用新设计的激活函数 ASU，该函数具有非单调和振荡的特点，在不同的卷积层中通过特征图可视化检查了本文提出的模型的优化，该模型使用 Adam 进行优化，fine-tuned learning rate 等参数，实验结果表明了该模型在计算机视觉领域相关任务的计算可行性和有效性。在 CIFAR-10 分类方面，预测结果是非常有前途的。
activation functionsdeep neural networksconvolutional neural networkasucomputer vision
发现论文，激发创造
  • 放大正弦单元：一种用于深度神经网络的振荡激活函数，以有效恢复非线性振动

    通过引入具有振荡激活功能的深度神经网络结构，本文提出了一种应对微电机系统中非线性振动问题的方法，其中还使用了一些振荡和非振荡激活功能以进行综合分析；实验结果表明，此设计网络是更可靠和稳健的，可以有效应对非线性和振动的挑战。

    Apr, 2023

  • 一个非单调平滑激活函数

    本研究提出了一种名为 Sqish 的新型激活函数，作为现有激活函数的替代品，我们展示了它在分类、目标检测、分割任务和对抗性鲁棒性实验中的优越性，在 CIFAR100 数据集上，使用 ShuffleNet V2 模型在 FGSM 对抗攻击中，相较于 ReLU 取得了 8.21% 的改进，并且在 CIFAR100 数据集上，使用 ShuffleNet V2 模型进行图像分类，相较于 ReLU 取得了 5.87% 的改进。

    Oct, 2023

  • 学习激活函数以提高深度神经网络性能

    使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在 CIFAR-10 等数据集上取得了最先进的表现。

    Dec, 2014

  • 学习激活函数的组合

    本文介绍了两种自动学习不同激活函数组合的方法，并在三个标准数据集上与著名的体系结构进行了比较，显示了整体性能的显着改进。

    Jan, 2018

  • 使用数学模型理解卷积神经网络

    本研究利用 RECOS 模型解释了卷积神经网络（CNN）的非线性激活函数的必要性，探讨了两层级联系统相对于一层的优势，并将 RECOS 模型推广到了多层系统中。

    Sep, 2016

  • 通过动态激活函数优化前馈和卷积神经网络的性能

    复杂的分段线性激活函数在浅层和深层卷积神经网络中比 ReLu 激活函数效果更好，并使用 PyTorch 进行结果比较。

    Aug, 2023

  • 使用卷积神经网络进行功能数据学习

    使用卷积神经网络（CNN）对嘈杂和非嘈杂的函数数据进行回归和分类学习问题，通过将函数数据转换为 28 乘以 28 的图像，采用特定的卷积神经网络架构进行参数估计和函数形式分类的回归案例研究，应用于混沌数据的李雅普诺夫指数估计、疾病传播率估计、药物溶解剖面的相似性检测以及帕金森病患者检测等问题，该方法简单但准确率高，有广泛的工程和医学应用前景。

    Oct, 2023

  • 饱和非单调激活函数

    本文提出了一种新的非单调激活函数 SGELU，SSiLU 和 SMish，它们由 ReLU 的正部分和 GELU、SiLU 和 Mish 的负部分组成。实验结果表明，这些新的激活函数在多个深度学习架构上具有高效性能。

    May, 2023

  • 基于 CNN 学习的非线性卷积滤波器

    研究表明，在计算模型的视觉皮层中开发基于 Volterra 核的二阶卷积方法，可以增加卷积层的表达能力，在 CIFAR-10 和 CIFAR-100 数据集上，使用线性和非线性滤波器相结合的卷积网络可以超越使用相同体系结构的标准线性滤波器的网络的性能，取得与最先进水平相当的结果。

    Aug, 2017

  • 主动卷积：学习卷积形状进行图像分类

    该论文提出了一种名为 ACU 的卷积单元，其形状可以通过反向传递的方式学习，具有比传统卷积单元更大的灵活性和更好的性能，可用于各种数据集和架构。

    Mar, 2017