基于极值原理的深度学习算法
本研究提出了一个基于离散时间最优控制问题的深度学习训练算法 (MSA)，通过约束权重在离散集合内来实现神经网络的训练，获得了具有竞争力表现的分类结果和非常稀疏的三值网络权重，这有助于在低内存设备上进行模型部署。
Mar, 2018
这篇文章介绍了将深度学习中的群体风险最小化问题作为均场最优控制问题进行数学公式化。通过引用均场 Pontryagin 的最大值原理，确立了种群和经验学习问题之间的一些定量关系，为探究最优控制和深度学习之间的算法和理论联系奠定了数学基础。
Jul, 2018
本文提出了 YOPO 算法作为一种对抗训练的新方法，其将对抗训练视为一个离散时间微分博弈，并通过分析发现，对手的更新仅与网络的第一层参数相关。这启发我们在对手的更新过程中将大部分的前向和后向传播限制在网络的第一层内，这有效地减少了每组对手更新的完全前向和后向传播的总数，因此 YOPO 算法的计算复杂度较低，且可以取得与投影梯度下降算法（PGD）相当的防御精度。
May, 2019
该研究利用连续时间动力系统的方法，将深度残差网络理想化为动力系统，从逼近的角度研究其通用逼近性，并建立了新的近似理论，揭示了流映射逼近组合函数的新范例，促进了深度学习中有用的数学框架的建立。
Dec, 2019
研究了深度学习算法中存在的对抗性攻击问题，提供了一种新的对抗性训练算法，通过将最小 - 最大问题解释为最优控制问题进行优化，从而大幅度提高训练时间，并通过实验证明了该算法的稳定性和收敛性。
May, 2020
本文基于动态系统和最优控制的视角， 将现有的深度学习理论框架进行整合， 并用随机动态的优化算法作为控制器，为超参数调整提供了一个基于原则的方法。
Aug, 2019
本文描述了一种替代梯度下降算法的离散 MinMax 学习方法，通过使用缩减理论，将该算法从连续情况扩展到离散情况。通过该方法，解决了基于神经元组合的梯度下降学习中的最优性问题和成本函数问题。
Jun, 2023
本文介绍了一种基于偏微分方程框架的深度残差神经网络和相关学习问题的方法，并研究了前向问题的稳定性和最优性，同时探究了神经网络、PDE 理论、变分分析、优化控制和深度学习之间的算法和理论联系。
May, 2019
本研究通过分析深度神经网络的梯度下降技术实现，提出了控制网络复杂度的隐含规范化方法，并将其归纳为梯度下降算法的内在偏差，说明这种方法可以解决深度学习中过拟合的问题。
Mar, 2019