从深度神经网络中提取多值逻辑公式
深度神经网络可以从演化轨迹中学习元胞自动机的逻辑规则，使用 Lukasiewicz 命题逻辑描述了元胞自动机的一般性，并且可以通过连续的分段线性函数和深度 ReLU 网络从元胞自动机的演化过程中提取出相应的公式。
Apr, 2024
本篇论文阐述了深度 ReLU 网络可以分解成输入空间划分的区域内的线性模型集合，并将该理论推广到图神经网络和张量卷积网络等复杂网络上。此外，该论文证明了神经网络可以被理解为可解释的模型，如多元决策树和逻辑理论，并展示了该模型如何导致便宜且准确的 SHAP 值计算。最后，该理论通过与图神经网络的实验得到了验证。
May, 2023
本文证明了每个深度 ReLU 网络可以被重写为具有扩展实值权重的功能相同的三层网络，并提供了一个算法，可以在给定深度 ReLU 网络的情况下找到相应浅层网络的显式权重，以透明地生成模型行为的解释。
Jun, 2023
该研究借助 ReLU 挖掘深度学习的奥秘，以布尔函数为背景，考察了 ReLU 网络深度对模型大小的影响，并提出一种随机限制的方法来验证 LTF-OF-RELU 电路的最优性以及 ReLU 深度网络的难以压缩性，并展示出一种 Sum-of-ReLU-of-ReLU 函数实现的不可能性。
Nov, 2017
本研究使用混合整数优化、多面体理论、热带几何等技术探究神经网络单隐藏层能否学习到所有函数的普适逼近定理，为可表示函数的类提供了数学支持。同时，解决了 Wang 和 Sun (2005) 关于分段线性函数的一项猜想，并提出了表示具有对数深度函数所需神经网络的上限。
May, 2021
本篇论文调查了如何通过多面体理论以及线性规划技术对神经网络进行训练、验证和缩小规模，并概述了深度学习和神经网络中使用的关键词，如 ReLU（线性修正单元）等。
Apr, 2023
通过研究深度神经网络中的整流线性单元，将训练好的整流线性单元神经元建模为混合整数规划，并将混合整数规划应用于训练神经网络，本研究重点关注混合整数规划技术与各种神经网络架构之间的交互作用，包括二值深度神经网络和二值化深度神经网络，并通过实验评估提出的方法的性能，以手写数字分类模型为例，深入探讨混合整数规划在增强神经网络训练过程中的有效性。
Feb, 2024
我们提出了一种新的框架，无缝提供神经网络（学习）和符号逻辑（知识和推理）的关键属性，每个神经元都有权重实值逻辑公式的组成部分，得到了高度可解释的分离表示，推理是全向的而不是集中在预定义的目标变量上，对应于逻辑推理，包括经典的一阶逻辑定理证明作为特殊情况。
Jun, 2020
在深度卷积神经网络中，通过提出一种以带有 ReLU 非线性激活的网络为基础的新型理论框架，该框架通过在教师 - 学生设置中扩展学生的向前 / 向后传播，明确了数据分布，强调了分解表示，并且兼容常见的规则化技术，不会强加不现实的假设，这种框架有助于促进许多实用问题（如过拟合，概括，深度网络中的分解表示）的理论分析。
Sep, 2018
通过拓扑学的角度研究了 ReLU 神经网络在二分类问题中的表达能力。研究结果揭示，深层 ReLU 神经网络在拓扑简化方面远比浅层网络强大，这从数学上解释了为何深层网络更适用于处理复杂和拓扑丰富的数据集。
Oct, 2023