本研究通过提供一种数学框架来计算分段线性网络的线性区域数量和边界体积，证明神经网络在初始化时的线性区域数量沿任何一维子空间的平均值是总神经元数的线性增长，远低于指数上界，我们得出结论：神经网络的实际表达能力可能远低于理论最大值，并可以量化。
Jan, 2019
研究神经网络的深度和节点的线性区分性对于复杂计算的影响，并在对多个模型类型的分析中提出新的关于深度优势的理论结果，同时研究了高层次单元的行为。
Feb, 2014
对于基于 ReLU 的深度神经网络，我们通过计算线性凸区域的数量，证明了任何一维输入都需要至少一定数量的神经元来表达。我们还发现对于相同的网络，复杂的输入会限制其表达线性区域的能力。此外，我们揭示了 ReLU 网络在训练过程中决策边界的迭代优化过程。我们希望本研究能够激发网络优化的努力，并有助于深度网络行为的探索和分析。
Oct, 2023
本篇研究探讨使用深度神经网络表示分段线性函数时的复杂度，特别是研究 DNN 可以达到的线性区域数量，包括具有一维输入精确的视线整流器网络的最大线性区域数的更紧密的上下界，多层 Maxout 网络的第一个上界以及通过将 DNN 建模为混合整数线性公式来执行精确枚举或计数的第一个方法。结果表明，如果每个神经元的数量大于输入的维数，则使用深视网根网络只能具有比每个具有相同神经元数量的浅对应网络更多的线性区域。
Nov, 2017
在这项研究中，我们研究了连续分段仿射深度网络（如带有（渗漏的）ReLU 非线性的网络）训练动态的输入空间划分或线性区域，提出了一种包含了本地复杂性的新统计量，观察到在训练过程中，数据点周围的本地复杂性经历了几个阶段，与深度网络的记忆性和概括性能密切相关。
研究深度神经网络对非欧几里得数据集的表达能力，通过分析随机初始化的神经网络和线性边界区域等密度和距离等因素，推导出线性函数的表达形式和限制条件。
Dec, 2022
本文旨在通过对连续控制任务和策略网络维度的实证结果，以及基于监督学习环境中的神经网络感知区域结果的最新理论和实证结果的探究，来了解强化学习的深度策略中区域计数及其密度的演化，结果表明深度强化学习策略的复杂性并不是由于在策略的轨迹上及周围观察到的函数的复杂度的显著增长而产生的，区域密度仅在训练过程中适度增加，而轨迹本身在训练过程中也会增加其长度，并且从当前轨迹的角度来看，区域密度会随之减小。
Oct, 2022
通过使用基于概率推断和特征的经验阈值来近似神经网络的线性区域数量，提供了一种可快速获得深度神经网络线性区域数量之近似值的方法。
Oct, 2018
本文研究了深度神经网络在输入空间中的几何属性，通过系统实证研究发现，深度神经网络具有连通的分类区域并且其在数据点附近的决策边界在大多数方向上是平坦的，同时该文进一步证明了深度神经网络曲率决策边界的本质联系，最终提出了一种基于决策边界曲率的小型对抗样本检测方法。
May, 2017
本文研究深度神经网络的表达能力，用 ReLU 卷积神经网络的线性区域数量来量化表达能力，并给出一层 ReLU 卷积神经网络的线性区域数量的上下界以及多层 ReLU 卷积神经网络的最大和平均线性区域数量，结果表明深度卷积神经网络比浅层卷积神经网络和全连接神经网络更具表达能力。
Jun, 2020