ICMLMar, 2016

通过串联整流线性单元了解和改进卷积神经网络

PDF
TL;DR本篇论文提出了一种新的、简单而有效的激活方法，称为 CRelu，并将其与现有的卷积神经网络模型相结合，从而大大提高了它们在 CIFAR-10/100 和 ImageNet 数据集上的性能。
convolutional neural networksrelu activation functioncnn architecturesperformance improvementlower layers
发现论文，激发创造
  • 使用数学模型理解卷积神经网络

    本研究利用 RECOS 模型解释了卷积神经网络（CNN）的非线性激活函数的必要性，探讨了两层级联系统相对于一层的优势，并将 RECOS 模型推广到了多层系统中。

    Sep, 2016

  • 卷积网络中修正的激活函数的实证评估

    本文通过评估不同类型的修正线性单元 rectified activation functions（包括：标准修正线性单元（ReLU），泄漏修正线性单元（Leaky ReLU），参数修正线性单元（PReLU）以及随机泄漏修正线性单元（RReLU））在图像分类任务中的表现，结论表明，对修正激活单元中的负部分引入非零斜率可以始终改善结果，从而推翻了稀疏性是 ReLU 良好性能的关键的常见信念。另外，在小规模数据集上，使用确定性的负斜率或学习固定斜率都容易过拟合，使用随机斜率则更为有效。通过使用 RReLU，我们在 CIFAR-100 测试集上实现了 75.68％的准确度（无多次测试或集合）。

    May, 2015

  • 利用整流器单元的稀疏性加速卷积神经网络

    本研究针对深度卷积神经网络中常用的整流线性单元（ReLU），探究其输出的稀疏性质，并借此来加速卷积计算，通过跳过计算零值神经元的方法，相比传统矩阵乘法，当稀疏度不低于 0.9 时，在 CPU 上实现了较大的加速。

    Apr, 2017

  • 灵活的整流线性单元：用于优化卷积神经网络

    本文提出了一种称为灵活整流线性单元的新的激活函数，通过重新设计修正线性单元的修正点作为可学习参数，FReLU 扩展了激活输出的状态，使网络收敛到负值，提高了表现，结果表明该方法在各种网络结构上都能快速收敛并获得更高的表现，尤其在图像分类方面表现突出。

    Jun, 2017

  • 学习如何增强卷积神经网络中的负面信息

    本文提出了一种可学习的非线性激活机制 LENI，旨在增强 CNN 中的负信息，并通过实验证明 LENI 可以提高模型的表示能力，同时保持 ReLU 的优点。

    Jun, 2023

  • 卷积神经网络的线性区域数量

    本文研究深度神经网络的表达能力，用 ReLU 卷积神经网络的线性区域数量来量化表达能力，并给出一层 ReLU 卷积神经网络的线性区域数量的上下界以及多层 ReLU 卷积神经网络的最大和平均线性区域数量，结果表明深度卷积神经网络比浅层卷积神经网络和全连接神经网络更具表达能力。

    Jun, 2020

  • S 形修正线性激活单元的深度学习

    本文提出了一种能够 SReLU 在深层神经网络中充分学习凸函数和非凸函数的网络。实验结果表明，与其他激活函数相比，SReLU 可以显著提高卷积神经网络的性能。

    Dec, 2015

  • 重新思考学习：通过反馈循环改进卷积神经网络

    该研究提出了一种利用反馈机制的学习算法，通过添加反馈层和生成强调向量，不断提升卷积神经网络的性能，特别适用于任何预先训练的模型，并在四个对象分类基准数据集上进行了测试，结果表明利用该算法训练 CNN 模型的优势。

    Aug, 2017

  • 使用简单方法初始化修正线性单元的循环神经网络

    本文提出了用由修正线性单元组成的循环神经网络，并采用单位矩阵或其缩放版本来初始化循环权重矩阵来解决长期依赖性的问题，并在四个基准测试中证明了我们的解决方案与 LSTM 相当。

    Apr, 2015

  • 采用 ReLU 非线性激活函数优化循环神经网络性能

    本文针对使用 ReLU 非线性函数的循环神经网络提出一种修改后的权重初始化策略，并通过三个长期时间结构遵循的玩具问题以及一个基准动作识别问题的实验结果证实了该策略的有效性。

    Nov, 2015