Jan, 2018

学习激活函数的组合

PDF
TL;DR本文介绍了两种自动学习不同激活函数组合的方法，并在三个标准数据集上与著名的体系结构进行了比较，显示了整体性能的显着改进。
发现论文，激发创造
  • 学习激活函数以提高深度神经网络性能

    使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在 CIFAR-10 等数据集上取得了最先进的表现。

    Dec, 2014

  • 发现参数激活函数

    本文提出了一种使用进化搜索和梯度下降优化参数的方法来自动定制激活函数，实现对深度学习网络性能的可靠优化，验证结果表明该方法可以用作新任务的自动优化步骤。

    Jun, 2020

  • 通过动态激活函数优化前馈和卷积神经网络的性能

    复杂的分段线性激活函数在浅层和深层卷积神经网络中比 ReLu 激活函数效果更好，并使用 PyTorch 进行结果比较。

    Aug, 2023

  • 深度学习中的激活函数：综述和基准比较

    本论文综述了深度学习神经网络中激活函数的综合评估与调查，并对不同类型的激活函数进行了分类和性能比较。

    Sep, 2021

  • 深度神经网络 MNIST 分类任务的非线性激活函数比较

    本文介绍了常见的非线性激活函数，并对它们的特点进行了评估。同时，分析了深层神经网络及其与权重初始化方法的关系，其中将特别关注节点的入度和出度对整个网络的影响。

    Apr, 2018

  • 寻找激活函数

    本文提出利用自动搜索技术发现新的激活函数。通过详尽和强化学习的结合搜索，发现了多个新型激活函数，其中最佳的发现激活函数（称为 Swish）在许多困难数据集上比 ReLU 更有效。

    Oct, 2017

  • 深度神经网络分类任务中非线性激活函数的经验性分析

    本研究总结了神经网络架构中几种非线性激活函数的使用情况，并对这些函数在 MNIST 分类任务上的效果进行了实证分析，以确定哪些函数能够产生最佳结果。基于这些结果，研究了构建具有不同数量隐藏层的深度架构以及使用不同的初始化方案对神经网络的影响。最终提供了一个最优的神经网络架构，可在 MNIST 分类任务中获得令人印象深刻的准确度。

    Oct, 2017

  • 寻找黄金激活函数

    本文介绍了深度神经网络在不同领域的应用，探讨了激活函数选择的重要性及其优化方法，提出了两个新的激活函数 ELiSH 和 HardELiSH，并使用基于遗传算法的方法在三个图像分类基准测试中得到了比传统基线更好的效果。

    Aug, 2018

  • 现代可训练激活函数调查

    本文系统总结了神经网络领域可训练激活函数的不同模型，提出了这类函数的分类法，并探讨了其优缺点，进一步表明这些方法很多等价于添加使用固定（不可训练）激活函数和一些简单的局部规则来约束相应的权重层的神经元层，从而促进了神经网络的性能。

    May, 2020

  • 稀疏神经网络学习激活函数

    本研究提出了一种新的方法，即 Sparse Activation Function Search（SAFS），结合了调整稀疏网络激活函数和独立的超参数优化（HPO）来提高稀疏神经网络的预测准确率。通过在多个数据集和深度神经网络模型上进行实验，结果显示，与默认的训练协议相比，特别是在高剪枝率下，在 LeNet-5、VGG-16 和 ResNet-18 中的准确率分别提高了 15.53％、8.88％和 6.33％。

    May, 2023