提出了一种通过将每个神经网络中的每个层视为动态博弈中的玩家来进行训练的优化器 Dynamic Game Theoretic Neural Optimizer (DGNOpt)，该优化器不仅将 OCT-inspired 优化器推广到更丰富的网络类，还通过求解多人合作游戏来提出了一种新的训练原则，并在残差网络和 Inception 网络的图像分类数据集上表现出更好的收敛效果，结合了 OCT 和博弈论的优点，为稳健的最优控制和基于赌博机的优化提供了新的算法机会。

May, 2021

利用控制论技术，通过在线适应法更新深度神经网络参数，控制域偏移以及解决稳定性和迁移学习问题，提高深度神经网络基于学习的系统的性能和保证。

Feb, 2024

介绍一种名为 D2NN 的动态深度神经网络，其允许对输入进行选择性执行以优化计算效率，同时借助控制器模块和整合强化学习的反向传播算法进行端到端训练以优化精度和效率。

Jan, 2017

本文基于动态系统和最优控制的视角， 将现有的深度学习理论框架进行整合， 并用随机动态的优化算法作为控制器，为超参数调整提供了一个基于原则的方法。

Aug, 2019

本文介绍了 BNN-DP，它是一种用于分析贝叶斯神经网络的对抗鲁棒性的高效算法框架。该算法使用动态规划算法来限定网络的预测范围，同时具备一般性和高效性。

Jun, 2023

论文提出了一种在线深度学习框架，使用新提出的 Hedge Backpropagation 方法，实现了对来自稳态和概念漂移情况下的大规模数据集进行自适应深度的 DNN 模型学习。

Nov, 2017

我们提出了一个统一的优化框架，用于训练不同类型的深度神经网络，并在任意损失、激活和正则化函数上建立其收敛性。该框架推广了众所周知的一阶和二阶训练方法，并允许我们展示这些方法在各种深度神经网络架构和学习任务中的收敛性为我们的方法的一种特殊情况。

May, 2018

我们提出了一种专门用于深度神经网络（DNNs）的随机一阶优化方法 ECCO-DNN，该方法将优化变量轨迹建模为动力系统，并开发了一种离散化算法，根据轨迹的形状自适应选择步长。该方法提供了两个关键启示：快速连续时间收敛的动力系统设计和根据数值积分和神经网络结构原则自适应选择步长的时间步进算法，其结果是一种优化器，对于超参数变化不敏感，并且在性能上达到与 ADAM、SGD、RMSProp 和 AdaGrad 等最先进的优化器相当。我们在训练 DNN 模型和数据集（包括 CIFAR-10 和 CIFAR-100）中演示了这一点，并发现使用 ECCO-DNN 进行训练时，ECCO-DNN 的单一超参数可以改变三个数量级，而不会影响训练模型的准确性。ECCO-DNN 的不敏感性减少了超参数调优所需的数据和计算量，使其在快速原型设计和使用新数据集的应用中具有优势。为了验证我们所提出的优化器的有效性，我们使用 ECCO-DNN 在家庭功耗数据集上训练了一个 LSTM 架构，并在不调整超参数的情况下实现了最佳均方误差。

Oct, 2023

本文提出一种方法在深度神经网络训练期间同时优化网络结构和权重参数的概率分布，可用于解决多种网络结构优化问题，包括层次选择、单元类型选择和连接选择，实验结果表明该方法能够找到适当且具有竞争力的网络结构。

Jan, 2018

本文探讨了深度学习神经网络作为最优控制问题的离散化，提出了一类算法来解决离散最优控制问题，并探讨了在时间离散化方面的延伸。

Apr, 2019