使用整流线性单元的前馈神经网络通过将其输入空间分为一组凸区域来构建从输入到输出的映射。本文提出了深度（和浅层）神经网络中确切枚举的并行算法，并演示了区域数量对运行时间的影响以及区域的仿射变换维度如何影响更深层次的划分。

Feb, 2024

在这项研究中，我们研究了连续分段仿射深度网络（如带有（渗漏的）ReLU 非线性的网络）训练动态的输入空间划分或线性区域，提出了一种包含了本地复杂性的新统计量，观察到在训练过程中，数据点周围的本地复杂性经历了几个阶段，与深度网络的记忆性和概括性能密切相关。

Oct, 2023

通过局部属性的研究，探究了 DNN 的表达能力和优化技术对其决策边界的影响，并希望这一研究能够启示新型优化技术的设计和发现 DNN 的行为模式。

Jan, 2020

本文研究了使用分段仿射和凸非线性的深度神经网络的几何结构，证明了每个 MASO 层的输入空间分割对应于一个幂级数，并提供了其分析形式。我们进一步展示 MASO 层的组成产生了一个逐渐细分的幂图，并为分类问题得到了一个 MASO DN 在输入空间中的决策边界和曲率的公式。

May, 2019

研究神经网络的深度和节点的线性区分性对于复杂计算的影响，并在对多个模型类型的分析中提出新的关于深度优势的理论结果，同时研究了高层次单元的行为。

Feb, 2014

本篇研究探讨使用深度神经网络表示分段线性函数时的复杂度，特别是研究 DNN 可以达到的线性区域数量，包括具有一维输入精确的视线整流器网络的最大线性区域数的更紧密的上下界，多层 Maxout 网络的第一个上界以及通过将 DNN 建模为混合整数线性公式来执行精确枚举或计数的第一个方法。结果表明，如果每个神经元的数量大于输入的维数，则使用深视网根网络只能具有比每个具有相同神经元数量的浅对应网络更多的线性区域。

Nov, 2017

本研究通过提供一种数学框架来计算分段线性网络的线性区域数量和边界体积，证明神经网络在初始化时的线性区域数量沿任何一维子空间的平均值是总神经元数的线性增长，远低于指数上界，我们得出结论：神经网络的实际表达能力可能远低于理论最大值，并可以量化。

Jan, 2019

本研究旨在通过利用解空间的低维特性，导出 ReLU 神经网络逼近参数化偏微分方程解映射复杂度的上界，具有较传统神经网络逼近结果更优的逼近速率。具体而言，在不了解具体形状的情况下，我们利用小型降维基解的存在性，构建了一些神经网络，以便大范围参数化偏微分方程可以提供这样的参数化解映射逼近，而这些网络的大小基本只取决于基解的大小。

Mar, 2019

本文提出了一种新的学习问题，以促进深度网络具有更大区域上的稳定导数，针对使用分段线性激活函数的网络实现此目标，通过推理和优化步骤来扩展线性逼近有效区域，对图像和序列数据集的残差网络和循环网络进行了演示。

Jul, 2019

提出了一种新的两步方法来推断随机分区模型的参数，允许可变推断任务的使用，并具有可重参数化梯度，能够在对参数进行端到端基于梯度的优化时克服先前方法的限制，本方法在三个具有挑战性的实验中显示出了它的通用性。

May, 2023