对于基于 ReLU 的深度神经网络，我们通过计算线性凸区域的数量，证明了任何一维输入都需要至少一定数量的神经元来表达。我们还发现对于相同的网络，复杂的输入会限制其表达线性区域的能力。此外，我们揭示了 ReLU 网络在训练过程中决策边界的迭代优化过程。我们希望本研究能够激发网络优化的努力，并有助于深度网络行为的探索和分析。

Oct, 2023

本篇研究探讨使用深度神经网络表示分段线性函数时的复杂度，特别是研究 DNN 可以达到的线性区域数量，包括具有一维输入精确的视线整流器网络的最大线性区域数的更紧密的上下界，多层 Maxout 网络的第一个上界以及通过将 DNN 建模为混合整数线性公式来执行精确枚举或计数的第一个方法。结果表明，如果每个神经元的数量大于输入的维数，则使用深视网根网络只能具有比每个具有相同神经元数量的浅对应网络更多的线性区域。

Nov, 2017

本研究通过提供一种数学框架来计算分段线性网络的线性区域数量和边界体积，证明神经网络在初始化时的线性区域数量沿任何一维子空间的平均值是总神经元数的线性增长，远低于指数上界，我们得出结论：神经网络的实际表达能力可能远低于理论最大值，并可以量化。

Jan, 2019

本文研究深度神经网络的表达能力，用 ReLU 卷积神经网络的线性区域数量来量化表达能力，并给出一层 ReLU 卷积神经网络的线性区域数量的上下界以及多层 ReLU 卷积神经网络的最大和平均线性区域数量，结果表明深度卷积神经网络比浅层卷积神经网络和全连接神经网络更具表达能力。

Jun, 2020

通过局部属性的研究，探究了 DNN 的表达能力和优化技术对其决策边界的影响，并希望这一研究能够启示新型优化技术的设计和发现 DNN 的行为模式。

Jan, 2020

研究一维 Lipschitz 函数的逼近中，深层 ReLU 网络比浅层网络更有效地逼近光滑函数，采用自适应深度 6 网络体系结构比标准浅层网络更有效。

Oct, 2016

研究神经网络的深度和节点的线性区分性对于复杂计算的影响，并在对多个模型类型的分析中提出新的关于深度优势的理论结果，同时研究了高层次单元的行为。

Feb, 2014

研究了神经网络分类器在安全关键系统中的应用，提出了一种对 ReLU 网络的正则化方案，使分类器的鲁棒性得到提升，并在实验中取得了较好的效果。

Oct, 2018

本研究关注图神经网络 (GNN) 表现力的特点，通过计算图卷积网络 (GCNs) 单层和多层情况下线性区域的数量得出深层 GCNs 比浅层 GCNs 具有更大的表现力，可能更接近于估计的下界。

Jun, 2022

利用混合整数线性规划（MILP）模型来表示带有修正线性单元激活函数的神经网络的使用已在过去十年中越来越普遍。本研究探讨了这些边界的紧密性与求解结果 MILP 模型的计算付出之间的权衡，并提供了实施这些模型的指南，基于网络结构、正则化和四舍五入的影响。

Dec, 2023