提出了首个并行算法，对深度网络的分区进行了精确枚举，发现若只对体积较大的区域感兴趣，则均匀采样方法效率高，但若对分区中的小区域也感兴趣，则均匀采样在输入空间维度指数成本高。与此相反，我们的方法的复杂度与输入维度和区域数量呈线性关系。

Jan, 2024

通过使用基于概率推断和特征的经验阈值来近似神经网络的线性区域数量，提供了一种可快速获得深度神经网络线性区域数量之近似值的方法。

Oct, 2018

本篇研究探讨使用深度神经网络表示分段线性函数时的复杂度，特别是研究 DNN 可以达到的线性区域数量，包括具有一维输入精确的视线整流器网络的最大线性区域数的更紧密的上下界，多层 Maxout 网络的第一个上界以及通过将 DNN 建模为混合整数线性公式来执行精确枚举或计数的第一个方法。结果表明，如果每个神经元的数量大于输入的维数，则使用深视网根网络只能具有比每个具有相同神经元数量的浅对应网络更多的线性区域。

Nov, 2017

研究神经网络的深度和节点的线性区分性对于复杂计算的影响，并在对多个模型类型的分析中提出新的关于深度优势的理论结果，同时研究了高层次单元的行为。

Feb, 2014

通过局部属性的研究，探究了 DNN 的表达能力和优化技术对其决策边界的影响，并希望这一研究能够启示新型优化技术的设计和发现 DNN 的行为模式。

Jan, 2020

本研究通过提供一种数学框架来计算分段线性网络的线性区域数量和边界体积，证明神经网络在初始化时的线性区域数量沿任何一维子空间的平均值是总神经元数的线性增长，远低于指数上界，我们得出结论：神经网络的实际表达能力可能远低于理论最大值，并可以量化。

Jan, 2019

对于基于 ReLU 的深度神经网络，我们通过计算线性凸区域的数量，证明了任何一维输入都需要至少一定数量的神经元来表达。我们还发现对于相同的网络，复杂的输入会限制其表达线性区域的能力。此外，我们揭示了 ReLU 网络在训练过程中决策边界的迭代优化过程。我们希望本研究能够激发网络优化的努力，并有助于深度网络行为的探索和分析。

Oct, 2023

本文研究了具有线性前突触耦合和整流线性激活的深度前馈网络的复杂性，并提供了一种比较深度和浅层模型的框架，该框架基于计算几何学中的分段线性函数。研究发现：即使当 $k$ 很小的时候，如果我们将 $n$ 限制为 $2n_0$，则深度模型具有比浅层模型更多的线性区域。

Dec, 2013

鉴于深度神经网络 (DNNs) 所基于的系统的可信保证，识别安全区域是一个关键问题。为此，我们提出了 AllDNN-Verification 问题：给定一个安全属性和一个 DNN，列举出在属性输入域中所有安全的区域，即属性成立的区域。由于该问题是 #P - 难问题，我们提出了一种高效的近似方法，名为 epsilon-ProVe。我们的方法利用对输出可达集合进行的统计预测容限限制的可控低估，并能够提供安全区域的一个紧凑的 (具有可证明的概率保证) 下界估计。我们在不同的标准基准测试上进行了实证评估，展示了我们方法的可扩展性和有效性，并为这种新类型的 DNN 验证提供了有价值的洞见。

Aug, 2023

该论文探讨了深度神经网络的近似速率相图，并证明了几个新的理论结果，具体而言，将 ReLU 网络中深度不连续相的现有结果推广到了任意正光滑的函数类，并确定了可行和不可行速率之间的界限；此外，我们表明所有具有分段多项式激活函数的网络具有相同的相图；接下来，我们证明了具有固定宽度且独立于光滑度的标准全连接架构可以适应光滑度并实现几乎最佳速率；最后，我们考虑了具有周期性激活（“深度傅立叶展开”）的深层网络，并证明它们具有非常快的指数近似速率，这要归功于网络实现高效查找操作的新能力。

Jun, 2019