May, 2023

通过层内链接重新思考深度分离

PDF
TL;DR在研究网络深度与性能相关的深度分离理论时，注意到该理论是基于前馈神经网络建立的。本文通过研究添加跨层连接的含快捷路径的神经网络，发现其修改了深度分离理论，使得一个增加连接的浅层神经网络不需要与先前的那么宽，就能表达一些深层神经网络构建的难题函数。实验表明，这种跨层连接带来了较大的性能提升，并且这个机理可被推广至 ResNet、DenseNet 等流行的网络架构中。
depth separation theoryintra-layer linksfunction representationnetwork expressivityresidual connections
发现论文，激发创造
  • 多层均场网络实现深度分离

    本文研究深度学习理论中深度分离问题，证明了使用过参数化的神经网络能够有效地学习深度函数构造，其中该结果依赖于一种新的扩展平均场极限到多层神经网络的方法和一种损失因式分解方法。

    Apr, 2023

  • 神经网络中逼近、深度分离与可学习性的关联

    本文主要研究深度神经网络、近似能力和可学习性之间的复杂关系，提出了必须在浅层神经网络中近似目标函数的概念，并给出了多个范例证明了深度神经网络的分离性，并结论它们即使被高效近似，也不能被高效学习。

    Jan, 2021

  • 前馈神经网络的深度优势

    研究发现，对于几乎所有已知的激活函数类型，存在简单的（大致上是径向的）函数在 $ eals^d$ 上，可由小型三层前馈神经网络表达，但无法用任何二层网络近似到特定常数精度以上，除非它的宽度在指数级别。此结果证明了深度比宽度对于标准前馈神经网络的提升，即使只增加了 1 层，其价值也可以是指数级别。此外，相比于布尔函数相关研究，该结果需要更少的假设，并且证明技巧和构造方法非常不同。

    Dec, 2015

  • 当浅层模型强时，是否更深层模型更好？

    该论文研究了深层神经网络在梯度下降最优化过程中利用深度的表达能力，证明了具有分形结构的分布可以被深层网络有效地表达，而浅层网络无法表达。论文还探讨了粗细篮子之间的平衡如何影响深度神经网络的优化过程，并推断了学习深度神经网络是否成功取决于分布是否可以被浅层网络很好地逼近的结论。

    Mar, 2019

  • 深度网络与浅层网络：逼近论视角

    本文回顾了最近关于层级神经网络结构的研究成果，探讨了深度卷积神经网络优于浅层神经网络在函数近似问题中的表现条件。本文提出了一个新的对于相对维度的定义，该定义可以被深层网络而非浅层网络使用以显著降低近似和学习所需的复杂度。同时，本文还宣布了关于当前神经网络中使用的非平滑激活函数 - ReLU 函数以及高斯网络的新结果。

    Aug, 2016

  • 深度学习理论原理

    本文研究了深度神经网络并使用表示群流的概念及信息论技巧，分析了其非线性模型的学习机制和有效模型复杂性及超参数等参数的归纳偏置。

    Jun, 2021

  • 超越径向函数的深度分离

    本文通过对深度分离结果的研究，在高维情况下，展示了某些函数可以通过两层神经网络高效近似，但是无法通过单层网络近似，在解决常见的一些函数中出现了限制，并提供了一些方法进行一层网络的高效近似。

    Feb, 2021

  • 神经网络中逼近自然函数的深度 - 宽度权衡

    本文提供了一些新的基于深度的前馈神经网络分离结果，证明了各种类型的简单自然函数可以更好地用深层网络逼近比更浅的更大的网络，这包括指示球和椭圆体的指示器，$L_1$ 范数下径向非线性函数，以及平滑的非线性函数。我们还展示了这些差距的实验观察结果：当训练神经网络学习一个单位球的指示器时，增加深度比增加宽度更容易收敛学习。

    Oct, 2016

  • 高速公路网络

    介绍了一种新的架构，名为高速公路网络，可以用梯度下降直接训练具有数百层的深度神经网络，并通过门控单元控制网络中的信息流动，从而易于解决深度神经网络训练的问题。

    May, 2015

  • 关于深度循环网络的长期记忆

    本文通过引入一种称为 “起始 - 终止分离等级” 的度量方式，证明了深度循环网络相较于其浅层对应版本在建模长时依赖方面具有压倒性的优势，并通过量子张量网络的工具获取了更多的图形洞见。

    Oct, 2017