使用能量耗散网络在深度学习中提出了迭代计算下降方向以实现图像重构、特别是对噪声图像进行去模糊，超分辨率和医学图像中来实现。经实验证明，它可以控制网络在推断时遵循数据形成模型，并且它在单幅图像超分辨率和计算机成像重构上取得了良好效果，并进一步扩展到凸可行性问题。

Apr, 2019

我们通过神经 ODE 来捕捉网络激发点过程随着网络拓扑的时变变化的演变，能够灵活适应先验知识和约束条件的基于模型的强化学习，设计了 pooling 最佳策略并确保一个置换等效属性的 ANI 框架，实现了知识的高效转移和共享，从而解决了大规模网络干预的挑战，并具有应对重要社会和环境挑战的潜力。

Oct, 2023

通过理论分析和实验，研究表明，相比密集的神经网络，使用稀疏的 Mixture of Expert 模型具有更好的鲁棒性，可以抵抗对抗性的攻击，这使得它们成为增强学习等应用中的有力工具。

Oct, 2022

本文提出了一种用于评估内部最大值的解决方法 ——FOSC，以量化评估在内部最大化期间找到的对抗性例子的收敛质量，结果表明，在训练后期使用收敛质量更好的对抗性例子是确保更好的稳健性所必需的，而在训练初期，高收敛质量的对抗性例子则并不是必需的，甚至可能导致差的鲁棒性，因此，我们提出了一种渐进式的动态训练策略，逐步提高生成的对抗性例子的收敛质量，从而显著提高了对抗训练的鲁棒性。

Dec, 2021

本文提出了 YOPO 算法作为一种对抗训练的新方法，其将对抗训练视为一个离散时间微分博弈，并通过分析发现，对手的更新仅与网络的第一层参数相关。这启发我们在对手的更新过程中将大部分的前向和后向传播限制在网络的第一层内，这有效地减少了每组对手更新的完全前向和后向传播的总数，因此 YOPO 算法的计算复杂度较低，且可以取得与投影梯度下降算法（PGD）相当的防御精度。

May, 2019

通过 Meta-Experience Replay 算法，在经验回放的基础上进行基于元学习的优化，实现了对未来渐变更少的干扰和更多的知识迁移。在多个领域的实验中，该方法优于目前的基准算法。

Oct, 2018

本文基于鲁棒控制的视角讨论神经 ODE 的对抗训练，引入了一种替代经验风险最小化的方法，通过可靠处理输入扰动来实现可靠结果。将深度神经网络解释为控制系统离散化，利用控制理论的强大工具来开发和理解机器学习。我们将带有扰动数据的对抗性训练描述为极小极大最优控制问题，并推导出 Pontryagin's Maximum Principle 形式的一阶最优性条件。我们提供了鲁棒训练的新解释，提出了一种替代加权技术，并在低维分类任务上进行了测试。

Oct, 2023

本文提出一种通过闭环控制方法解决神经网络鲁棒性问题的方法，通过嵌入数据流形的几何信息和优化控制，以实现对各种数据干扰的鲁棒性，本方法为通过闭环控制提高神经网络鲁棒性的首次尝试。

Feb, 2021

通过存储案例，使用基于上下文的查找直接修改神经网络的权重，以 Memory-based Parameter Adaptation 为核心的方法，可以在监督任务中有效地改善深度神经网络的性能和训练速度。

Feb, 2018

本文提出使用计算有效的外推方法来稳定优化轨迹，同时通过平滑避免锐减的局部最小值，从而解决了大批量训练数据下的模型精度退化问题并且在 ResNet、LSTM 和 Transformer 等模型下得到证明。

Jun, 2020