Feb, 2014

深度神经网络的线性区域数量

PDF
TL;DR研究神经网络的深度和节点的线性区分性对于复杂计算的影响，并在对多个模型类型的分析中提出新的关于深度优势的理论结果，同时研究了高层次单元的行为。
deep feedforward neural networkspiecewise linear activationscompositional mapscomplexity boundsrectifier and maxout networks
发现论文，激发创造
  • 深度网络中线性区域的复杂度

    本研究通过提供一种数学框架来计算分段线性网络的线性区域数量和边界体积，证明神经网络在初始化时的线性区域数量沿任何一维子空间的平均值是总神经元数的线性增长，远低于指数上界，我们得出结论：神经网络的实际表达能力可能远低于理论最大值，并可以量化。

    Jan, 2019

  • 深度前馈网络使用分段线性激活函数的响应区域数量

    本文研究了具有线性前突触耦合和整流线性激活的深度前馈网络的复杂性，并提供了一种比较深度和浅层模型的框架，该框架基于计算几何学中的分段线性函数。研究发现：即使当 $k$ 很小的时候，如果我们将 $n$ 限制为 $2n_0$，则深度模型具有比浅层模型更多的线性区域。

    Dec, 2013

  • 深度神经网络中线性区域特性的实证研究

    通过局部属性的研究，探究了 DNN 的表达能力和优化技术对其决策边界的影响，并希望这一研究能够启示新型优化技术的设计和发现 DNN 的行为模式。

    Jan, 2020

  • 深度神经网络线性区域的界定和计数

    本篇研究探讨使用深度神经网络表示分段线性函数时的复杂度，特别是研究 DNN 可以达到的线性区域数量，包括具有一维输入精确的视线整流器网络的最大线性区域数的更紧密的上下界，多层 Maxout 网络的第一个上界以及通过将 DNN 建模为混合整数线性公式来执行精确枚举或计数的第一个方法。结果表明，如果每个神经元的数量大于输入的维数，则使用深视网根网络只能具有比每个具有相同神经元数量的浅对应网络更多的线性区域。

    Nov, 2017

  • 网络中输入分布和线性区域之间相互作用的演变

    对于基于 ReLU 的深度神经网络，我们通过计算线性凸区域的数量，证明了任何一维输入都需要至少一定数量的神经元来表达。我们还发现对于相同的网络，复杂的输入会限制其表达线性区域的能力。此外，我们揭示了 ReLU 网络在训练过程中决策边界的迭代优化过程。我们希望本研究能够激发网络优化的努力，并有助于深度网络行为的探索和分析。

    Oct, 2023

  • 深度整流网络线性区域的经验界限

    通过使用基于概率推断和特征的经验阈值来近似神经网络的线性区域数量，提供了一种可快速获得深度神经网络线性区域数量之近似值的方法。

    Oct, 2018

  • 构建稳健、局部线性的深度网络

    本文提出了一种新的学习问题，以促进深度网络具有更大区域上的稳定导数，针对使用分段线性激活函数的网络实现此目标，通过推理和优化步骤来扩展线性逼近有效区域，对图像和序列数据集的残差网络和循环网络进行了演示。

    Jul, 2019

  • 卷积神经网络的线性区域数量

    本文研究深度神经网络的表达能力，用 ReLU 卷积神经网络的线性区域数量来量化表达能力，并给出一层 ReLU 卷积神经网络的线性区域数量的上下界以及多层 ReLU 卷积神经网络的最大和平均线性区域数量，结果表明深度卷积神经网络比浅层卷积神经网络和全连接神经网络更具表达能力。

    Jun, 2020

  • 深化神经网络优势的理论分析

    该论文提出了两个新标准，以评估深度神经网络的表达能力和计算函数，并同时比较增加层数和增加每层神经元数量对于提高模型表达能力的效果，从而增进对深度学习的理解。

    Sep, 2020

  • 深度神经网络的函数逼近

    利用聚合函数表达的子函数描述构成的有向无环图，深度网络比浅层网络更好地逼近这些函数，因为深度网络可以被设计成具有相同的组合结构，而浅层网络无法利用这一知识，组合性的祝福缓解了维数灾难，而称为良好误差传播的定理允许通过选择适当的范数、平滑度等将有关浅层网络的定理推广到有关深层网络的定理。我们在三个环境中说明了这一点，其中每个通道在深层网络中计算球面多项式、非平滑 ReLU 网络或与 ReLU 网络密切相关的另一种区域函数网络。

    May, 2019