Nov, 2018

激活函数：深度学习实践和研究趋势的比较

PDF
TL;DR本研究对深度学习中使用的激活函数进行了调查和总结，强调了近期激活函数在深度学习应用方面的趋势。该总结对于选择适用于任何特定应用的最合适和适当的激活函数将起到帮助性作用。
deep learningactivation functionsneural networkssurveytrends
发现论文，激发创造
  • 深度学习中的激活函数：综述和基准比较

    本论文综述了深度学习神经网络中激活函数的综合评估与调查，并对不同类型的激活函数进行了分类和性能比较。

    Sep, 2021

  • 深度学习最近提出的激活函数综述

    介绍了人工神经网络中激活函数的主要概念及其作用，讨论了各种激活函数类型、应用、限制和替代方案。

    Apr, 2022

  • 神经网络中 400 种激活函数的综合调查：三十年的研究

    本文通过一项涵盖 400 种激活函数的大规模调查，提供了先前已发表的激活函数的最全面概述和系统化，并为当前对该函数族的理解进行更新。

    Feb, 2024

  • 深度学习综述：架构、应用和最新趋势

    本文概述了深度学习的一些关键多层人工神经网络以及使用多智能体方法的新型自动体系结构优化协议；以及深度学习在异常行为检测、预测和预测分析、医学图像处理和分析、电力系统研究等应用领域的探索性调查。

    May, 2019

  • 通过动态激活函数优化前馈和卷积神经网络的性能

    复杂的分段线性激活函数在浅层和深层卷积神经网络中比 ReLu 激活函数效果更好，并使用 PyTorch 进行结果比较。

    Aug, 2023

  • 学习激活函数的组合

    本文介绍了两种自动学习不同激活函数组合的方法，并在三个标准数据集上与著名的体系结构进行了比较，显示了整体性能的显着改进。

    Jan, 2018

  • 学习激活函数以提高深度神经网络性能

    使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在 CIFAR-10 等数据集上取得了最先进的表现。

    Dec, 2014

  • 寻找黄金激活函数

    本文介绍了深度神经网络在不同领域的应用，探讨了激活函数选择的重要性及其优化方法，提出了两个新的激活函数 ELiSH 和 HardELiSH，并使用基于遗传算法的方法在三个图像分类基准测试中得到了比传统基线更好的效果。

    Aug, 2018

  • 深度学习综述：从激活函数到 Transformer

    本文提供了最近在深度学习领域中，新兴架构、优化技术、注意力、自监督学习等多个方面的全面综述。通过对这些领域中最重要和最新的研究工作的全面概述，希望帮助深度学习领域的研究人员在各领域间形成新的联系。

    Feb, 2023

  • 探索关系：变换自适应激活函数与其他激活函数的比较

    TAAFs 是一种具有任意垂直和水平平移缩放的新型自适应激活函数，它广义地归纳了 50 多种现有激活函数和 70 多种其他激活函数的类似概念，证明了其作为一种有前景且适应性强的神经网络增强方法。

    Feb, 2024