深度 ReLU 网络的逆向工程
本文证明了每个深度 ReLU 网络可以被重写为具有扩展实值权重的功能相同的三层网络，并提供了一个算法，可以在给定深度 ReLU 网络的情况下找到相应浅层网络的显式权重，以透明地生成模型行为的解释。
Jun, 2023
通过凸优化技术和基于采样的方法，本研究提出了一种重建深度 ReLU 网络的新方法，以最小化重建网络输出与目标模型输出之间的差异为目标函数，并在需要时采用 L1 或 L2 正则化来鼓励稀疏或平滑解，为深度 ReLU 网络的反向工程和神经网络可解释性的新进展铺平了道路。
Dec, 2023
本篇论文阐述了深度 ReLU 网络可以分解成输入空间划分的区域内的线性模型集合，并将该理论推广到图神经网络和张量卷积网络等复杂网络上。此外，该论文证明了神经网络可以被理解为可解释的模型，如多元决策树和逻辑理论，并展示了该模型如何导致便宜且准确的 SHAP 值计算。最后，该理论通过与图神经网络的实验得到了验证。
May, 2023
本研究使用混合整数优化、多面体理论、热带几何等技术探究神经网络单隐藏层能否学习到所有函数的普适逼近定理，为可表示函数的类提供了数学支持。同时，解决了 Wang 和 Sun (2005) 关于分段线性函数的一项猜想，并提出了表示具有对数深度函数所需神经网络的上限。
May, 2021
对于基于 ReLU 的深度神经网络，我们通过计算线性凸区域的数量，证明了任何一维输入都需要至少一定数量的神经元来表达。我们还发现对于相同的网络，复杂的输入会限制其表达线性区域的能力。此外，我们揭示了 ReLU 网络在训练过程中决策边界的迭代优化过程。我们希望本研究能够激发网络优化的努力，并有助于深度网络行为的探索和分析。
Oct, 2023
研究使用 ReLU 函数实现激活函数的前馈神经网络系统的可达性问题，并通过线性问题对其进行表征，并提出了一种基于最先进的线性规划求解器解决实际问题的方法。通过分析文献中的多个基准测试来评估所提出技术的性能。
Jun, 2017
研究了前馈 ReLU 神经网络架构的参数空间，证明了对于没有窄于输入层的任何网络架构，都存在没有隐藏对称性的参数设置，并通过实验近似计算了不同网络架构在初始化时的功能维度。
Jun, 2023
本文研究从标准高斯分布采样输入，从嘈杂的教师网络生成输出的一层隐藏神经网络的学习问题。研究分析了梯度下降在基于经验风险最小化的训练中的性能，并提供了算法相关的保证，证明了张量初始化后跟随梯度下降可以以线性速率收敛到地面真值参数，证明本文是第一个表征实际学习具有多个神经元的一层 ReLU 网络的恢复保证的工作。数值实验验证了我们的理论发现。
Jun, 2018
该论文研究了深度神经网络的近似和表达能力，证明了神经网络在目标应用中比传统的非线性近似方法具有更强的近似能力，其中逼近单变量函数的 ReLU 神经网络是研究的重点，然而，尚缺乏一种完全定量化神经网络近似能力的理论。
May, 2019