对于基于 ReLU 的深度神经网络，我们通过计算线性凸区域的数量，证明了任何一维输入都需要至少一定数量的神经元来表达。我们还发现对于相同的网络，复杂的输入会限制其表达线性区域的能力。此外，我们揭示了 ReLU 网络在训练过程中决策边界的迭代优化过程。我们希望本研究能够激发网络优化的努力，并有助于深度网络行为的探索和分析。

Oct, 2023

通过局部属性的研究，探究了 DNN 的表达能力和优化技术对其决策边界的影响，并希望这一研究能够启示新型优化技术的设计和发现 DNN 的行为模式。

Jan, 2020

在这项研究中，我们研究了连续分段仿射深度网络（如带有（渗漏的）ReLU 非线性的网络）训练动态的输入空间划分或线性区域，提出了一种包含了本地复杂性的新统计量，观察到在训练过程中，数据点周围的本地复杂性经历了几个阶段，与深度网络的记忆性和概括性能密切相关。

Oct, 2023

本研究通过提供一种数学框架来计算分段线性网络的线性区域数量和边界体积，证明神经网络在初始化时的线性区域数量沿任何一维子空间的平均值是总神经元数的线性增长，远低于指数上界，我们得出结论：神经网络的实际表达能力可能远低于理论最大值，并可以量化。

Jan, 2019

通过使用基于概率推断和特征的经验阈值来近似神经网络的线性区域数量，提供了一种可快速获得深度神经网络线性区域数量之近似值的方法。

Oct, 2018

本文研究深度神经网络的表达能力，用 ReLU 卷积神经网络的线性区域数量来量化表达能力，并给出一层 ReLU 卷积神经网络的线性区域数量的上下界以及多层 ReLU 卷积神经网络的最大和平均线性区域数量，结果表明深度卷积神经网络比浅层卷积神经网络和全连接神经网络更具表达能力。

Jun, 2020

提出了一种可以捕捉多种学习协议的 RL 可解高维模型，并将其典型动态推导为一组封闭形式 ODE，我们推导出了学习率和任务难度的最优计划，同时还展现了丰富的行为，包括稀疏奖励下的延迟学习；因奖励基线的不同而产生的各种学习模式；以及由奖励严格性驱动的速度 - 准确性权衡。 与 “Bossfight” 的 Procgen 游戏和 Arcade Learning Environment 游戏 “Pong” 的变体的实验还表明，在实践中存在速度 - 准确性权衡问题。

Jun, 2023

利用神经网络构建的深度神经决策模型在不同领域中得到广泛应用，但深度神经网络在近似值函数时可能会导致决策边界的稳定性问题，特别是对于高度非凸和复杂的神经网络结构，不可识别、非鲁棒特征对策略决策有较大敏感性。因此，有必要开发能够理解神经网络策略学习中敏感性的技术。本研究介绍了一种理论基础的方法，系统分析了深度神经决策边界在时间和空间上的不稳定方向。通过实验在 Arcade Learning Environment (ALE) 中，我们展示了该方法在识别相关不稳定方向以及测量样本偏移对神经网络策略学习中敏感方向集合的影响方面的有效性。最重要的是，我们证明了最先进的鲁棒训练技术相对于标准训练方法在学习不相交的不稳定方向时，随着时间的推移产生更大的振荡。我们相信这些结果揭示了强化学习策略的决策过程的基本属性，并能帮助构建可靠而稳健的深度神经策略。

Jun, 2024

研究了神经网络分类器在安全关键系统中的应用，提出了一种对 ReLU 网络的正则化方案，使分类器的鲁棒性得到提升，并在实验中取得了较好的效果。

Oct, 2018

本篇研究探讨使用深度神经网络表示分段线性函数时的复杂度，特别是研究 DNN 可以达到的线性区域数量，包括具有一维输入精确的视线整流器网络的最大线性区域数的更紧密的上下界，多层 Maxout 网络的第一个上界以及通过将 DNN 建模为混合整数线性公式来执行精确枚举或计数的第一个方法。结果表明，如果每个神经元的数量大于输入的维数，则使用深视网根网络只能具有比每个具有相同神经元数量的浅对应网络更多的线性区域。

Nov, 2017