本文旨在探讨深度神经网络以及与之相关的 0-1 混合整数线性规划模型，并描述了一种有效的边界紧缩技术，旨在促进其解决方案。文中还介绍了 0-1 混合整数线性规划模型在特征可视化和对抗样本构建中的可能应用，并针对手写数字识别这一已知的测试用例，报告了关于使用最先进的混合整数线性规划求解器在小规模 DNN 上的计算性能的初步结果。
Dec, 2017
通过研究深度神经网络中的整流线性单元，将训练好的整流线性单元神经元建模为混合整数规划，并将混合整数规划应用于训练神经网络，本研究重点关注混合整数规划技术与各种神经网络架构之间的交互作用，包括二值深度神经网络和二值化深度神经网络，并通过实验评估提出的方法的性能，以手写数字分类模型为例，深入探讨混合整数规划在增强神经网络训练过程中的有效性。
Feb, 2024
简单的神经网络使用 ReLU 激活可以在各种维度中产生单元球近似的多面体，其种类受网络体系结构的调节，此发现开创了通过机器学习进行离散几何研究的新领域，同时也可以用于训练网络的可视化。
Jul, 2023
本文提出了一个强大的混合整数编程（MIP）框架，可以用于处理高维分段线性函数，从而建立与训练好的神经网络相匹配的数学模型，并通过这些数学模型来解决图像分类的鲁棒性验证和机器学习模型的决策问题。我们的方法比文献中其他方法更加有效，并且在图像分类网络的验证任务中取得了优异的结果。
Nov, 2018
本文利用三角化的方法研究了 ReLU 网络在初始化和梯度下降时的多面体形状，并发现它们相对简单，这是一种新的隐式偏差。此外，本研究还通过界定多面体面的平均数来理论上解释了为什么增加深度不会创建更复杂的多面体，并揭示了网络的简单函数模型和空间分割特性，这些结果具有重要的功能复杂性度量、正则化策略影响等方面的应用潜力。
May, 2023
本研究使用混合整数优化、多面体理论、热带几何等技术探究神经网络单隐藏层能否学习到所有函数的普适逼近定理，为可表示函数的类提供了数学支持。同时，解决了 Wang 和 Sun (2005) 关于分段线性函数的一项猜想，并提出了表示具有对数深度函数所需神经网络的上限。
May, 2021
本文通过样条理论的角度展示了神经网络训练问题与函数的 Banach 空间有关，进一步论述了 ReLU 等激活函数的重要性，解释了神经网络设计与训练策略如何影响其性能，并为路径范数正则化及跳连等策略提供了新的理论支持。
Oct, 2019
利用混合整数线性规划（MILP）模型来表示带有修正线性单元激活函数的神经网络的使用已在过去十年中越来越普遍。本研究探讨了这些边界的紧密性与求解结果 MILP 模型的计算付出之间的权衡，并提供了实施这些模型的指南，基于网络结构、正则化和四舍五入的影响。
Dec, 2023
深度学习方法在逼近高维偏微分方程方面的研究，尤其是通过神经网络和活化函数的选择，可以有效地克服维数诅咒，并能够在多项式时间内以任意精度逼近解，为解决偏微分方程提供了广泛应用的前景。
Sep, 2023
在 ReLU 神经网络中，由于有限的多面体分解与对应的有限的对偶图的强大作用，它可以与持久性同调一起用于检测样本中输入空间的流形的同调信号。
Jun, 2023