研究使用 ReLU 函数实现激活函数的前馈神经网络系统的可达性问题，并通过线性问题对其进行表征，并提出了一种基于最先进的线性规划求解器解决实际问题的方法。通过分析文献中的多个基准测试来评估所提出技术的性能。

Jun, 2017

本文证明了神经网络的体系结构、权重和偏差可以从其输出中恢复，对 ReLU 网络的线性片段进行分解，可以从某些预备知识和组件恢复出实际权重和排列。

Oct, 2019

在深度卷积神经网络中，通过提出一种以带有 ReLU 非线性激活的网络为基础的新型理论框架，该框架通过在教师 - 学生设置中扩展学生的向前 / 向后传播，明确了数据分布，强调了分解表示，并且兼容常见的规则化技术，不会强加不现实的假设，这种框架有助于促进许多实用问题（如过拟合，概括，深度网络中的分解表示）的理论分析。

Sep, 2018

本文提出了一种使用信息论度量转换复杂度的指标，并探究了转换复杂度与 disentanglement 之间的强相关性，进一步分析了 DNN 训练过程中的两个典型现象，还探讨了 DNN 复杂度的上限，并使用提出的指标作为损失，学习具有最小复杂度的 DNN，并控制过拟合水平等，从而影响对抗鲁棒性、对抗传递性和知识一致性，同时提供了新的理解 DNN 的视角。

May, 2022

本篇论文阐述了深度 ReLU 网络可以分解成输入空间划分的区域内的线性模型集合，并将该理论推广到图神经网络和张量卷积网络等复杂网络上。此外，该论文证明了神经网络可以被理解为可解释的模型，如多元决策树和逻辑理论，并展示了该模型如何导致便宜且准确的 SHAP 值计算。最后，该理论通过与图神经网络的实验得到了验证。

May, 2023

本研究使用混合整数优化、多面体理论、热带几何等技术探究神经网络单隐藏层能否学习到所有函数的普适逼近定理，为可表示函数的类提供了数学支持。同时，解决了 Wang 和 Sun (2005) 关于分段线性函数的一项猜想，并提出了表示具有对数深度函数所需神经网络的上限。

May, 2021

对于具有最先进的逼近误差的 ReLU 结构，本研究的主要结果是其实现参数的增长至多是多项式的，与现有结果相比，在大多数情况下，特别是对于高维输入，该增长率优于现有结果。

Jun, 2024

研究神经网络的深度和节点的线性区分性对于复杂计算的影响，并在对多个模型类型的分析中提出新的关于深度优势的理论结果，同时研究了高层次单元的行为。

Feb, 2014

本文通过样条理论的角度展示了神经网络训练问题与函数的 Banach 空间有关，进一步论述了 ReLU 等激活函数的重要性，解释了神经网络设计与训练策略如何影响其性能，并为路径范数正则化及跳连等策略提供了新的理论支持。

Oct, 2019

通过对神经网络中全连接 ReLU 层的几何结构进行形式化和解释，我们提出了 ReLU 层参数对输入域的自然划分，使得在每个划分区域内，ReLU 层可以大大简化；这导致了一个几何解释：ReLU 层可以看作是一个多面角投影，然后跟随一个仿射变换，与具有 ReLU 激活的卷积网络的描述一致。此结构进一步简化了描述分类问题中决策边界的划分区域和超平面的原像的表达式。我们详细研究了具有一个隐藏 ReLU 层的前馈网络，提供了关于此类网络生成决策边界的几何复杂性的结果，并证明除了仿射变换外，这样的网络只能生成 d 个不同的决策边界。最后，我们还讨论了向网络添加更多层的影响。

Oct, 2023