深度神经网络分类任务中非线性激活函数的经验性分析

Oct, 2017

深度神经网络分类任务中非线性激活函数的经验性分析

Empirical analysis of non-linear activation functions for Deep Neural Networks in classification tasks

Giovanni Alcantara

TL;DR本研究总结了神经网络架构中几种非线性激活函数的使用情况，并对这些函数在 MNIST 分类任务上的效果进行了实证分析，以确定哪些函数能够产生最佳结果。基于这些结果，研究了构建具有不同数量隐藏层的深度架构以及使用不同的初始化方案对神经网络的影响。最终提供了一个最优的神经网络架构，可在 MNIST 分类任务中获得令人印象深刻的准确度。

Abstract

We provide an overview of several non-linear activation functions in a neural network architecture that have proven successful in many machine learning applications. We conduct an empirical analysis on the effectiveness of using these function on the →

non-linear activation functions neural network architecture mnist classification deep architectures initialisation schemes

发现论文，激发创造

深度神经网络 MNIST 分类任务的非线性激活函数比较

本文介绍了常见的非线性激活函数，并对它们的特点进行了评估。同时，分析了深层神经网络及其与权重初始化方法的关系，其中将特别关注节点的入度和出度对整个网络的影响。

Apr, 2018

通过非线性透视理解深度神经网络

该研究提出了一种理论上可靠的解决方案，用于跟踪计算机视觉应用中深度神经网络中的非线性传播，提供了详实的实验结果，突出了提出的亲和性评分的实用性及其潜在的广泛应用。

Oct, 2023

学习激活函数的组合

本文介绍了两种自动学习不同激活函数组合的方法，并在三个标准数据集上与著名的体系结构进行了比较，显示了整体性能的显着改进。

Jan, 2018

学习激活函数以提高深度神经网络性能