Sep, 2023

再次让深度网络变得浅显

PDF
TL;DR通过研究深度神经网络中的残差连接，提出了一种平行浅层架构的替代方案，通过在 Taylor 级数表达式中截断高阶项，发现广而浅的网络架构在性能上与传统的深层架构相当，这一发现有望简化网络架构、提高优化效率并加速训练过程。
deep neural networksresidual connectionsvanishing gradient problemsequential deep architecturewide, shallow architecture
发现论文，激发创造
  • 浅层学习作为深度学习的替代方案

    拟合深度学习基础理论的神经网络架构 —— 卷积层可以达到与深度卷积神经网络类似的性能，并有一个可识别其普遍行为的幂律现象。

    Nov, 2022

  • 深度残差神经网络的分层并行训练

    该论文提出了一种基于多格迭代和并行计算的新型深度神经网络训练算法，和传统的序列前向、后向传播不同，该方法使神经网络的训练过程具备了层间的并行性，并取得了与传统方法相当的训练性能。

    Dec, 2018

  • 贪心逐层学习能够横跨 ImageNet

    采用一层隐含层的浅层有监督神经网络，依次构建层级式深度网络，使用一些简单的架构和训练技巧，能够在 ImageNet 数据集上表现优于 AlexNet，并且建立 2 或 3 个隐含层的辅助问题，可构建超过 VGG 模型家族的 11 层网络，且训练精度能够达到端到端学习的水平。

    Dec, 2018

  • 深度神经网络结构设计的优化算法启发

    本文提出了一种通过优化算法启发设计深度神经网络结构的方法，研究者们发现，用斜率下降算法替代传统的梯度下降算法有望提高神经网络的速度和性能，并在 CIFAR-10，CIFAR-100 和 ImageNet 数据集上取得了优于 ResNet 和 DenseNet 的结果。

    Oct, 2018

  • 深度网络与浅层网络：逼近论视角

    本文回顾了最近关于层级神经网络结构的研究成果，探讨了深度卷积神经网络优于浅层神经网络在函数近似问题中的表现条件。本文提出了一个新的对于相对维度的定义，该定义可以被深层网络而非浅层网络使用以显著降低近似和学习所需的复杂度。同时，本文还宣布了关于当前神经网络中使用的非平滑激活函数 - ReLU 函数以及高斯网络的新结果。

    Aug, 2016

  • 随机深度深度网络

    该研究提出了一种名为随机深度的训练方法，通过随机地去掉一部分神经网络层，降低训练时间，提高测试准确率，特别是对于残差网络这样深层数学习模型的训练和测试效果都得到了大幅提升。

    Mar, 2016

  • 卷积残差记忆网络

    通过在卷积残差网络中引入长短时记忆机制，增强了记忆机制加强卷积神经网络的性能，使得该方法在 CIFAR-100 基准测试上优于其他最先进的技术，并且在 CIFAR-10 和 SVHN 基准测试上与之相当，而且相比于深度相当的深度残差神经网络，网络宽度更大，深度更小，总体计算量更少。

    Jun, 2016

  • Wider or Deeper: 重新审视 ResNet 模型在视觉识别中的应用

    本文探讨增加深度对神经网络性能提升的边际效益递减问题，提出一种更高效的残差网络结构并在图像分类和语义分割等领域实现了显著优越性能。

    Nov, 2016

  • 深度卷积神经网络设计模式

    本文介绍了一些基于最近深度学习的集体知识挖掘的神经网络结构设计原则，并提出了 FractalNet、Stagewise Boosting Networks 和 Taylor Series Networks 等创新型架构。

    Nov, 2016

  • 多重残差网络：提高残差网络的速度和准确性

    本文提出了一种新的卷积神经网络架构，该架构通过扩展残差网络的层数，明确利用非常深网络的集成表现，并使模型变宽而不是更深，从而显著提高了准确性。受多元残差网络的并行结构启发，本研究还探讨了一种模型并行技术，该技术使残差块的计算分布在处理器之间，计算复杂度提高了 15%。最后，我们证明了我们模型在 ImageNet 分类数据集上优于大多数现有模型的表现。

    Sep, 2016