本研究提出简正了的伴随方法，通过辛积分器求解的伴随方法 获取完全梯度 (直到舍入误差) 并具有更少的记忆消耗，比其他方法更快且能更好地抑制舍入误差.

Feb, 2021

本研究提出了替换 `L^2` 等传统范数为更适当的（半）范数以加快反向传播的算法，实验证明在时间序列、生成建模和物理控制等任务中有 40％至 62％减少函数计算量的中位数改善，训练时间大约减半。

Sep, 2020

扩散模型的优化和参数的梯度计算是一个复杂而具有挑战性的问题，本文提出了一种基于随机伴随灵敏度方法的新方法，用于计算模型的梯度，并演示了该方法在人脸变形问题上的有效性。

May, 2024

神经网络方法在科学和工程领域中解决偏微分方程具有显著优势，尤其是在涉及复杂区域或纳入经验数据的情况下。本文引入截断熵的概念来表征训练性质，通过对随机特征模型和两层神经网络进行综合实验证明这一定义的截断熵可靠地量化随机特征模型的残差损失和神经网络在自动微分和有限差分方法下的训练速度，实验证明从训练角度看，自动微分能够在解决偏微分方程的问题上胜过有限差分法。

May, 2024

使用概率扩散模型自适应定制的新方法 AdjointDPM，采用伴随灵敏度方法通过解决带有增广 ODE 的概率流 ODE 来进行梯度反向传播，从而实现对模型参数和生成内容的梯度控制，进而在可视效果转换、特定类型风格化和安全审计等任务上展示了 AdjointDPM 的有效性。

Jul, 2023

通过 Adjoint 方法解决网络梯度反向传播的内存占用过高导致的一些问题，提出了 ANODE 神经 ODE 框架，解决了梯度不稳定问题，并且有 O (L) + O (N_t) 的内存占用和与 ODE 反转相同的计算成本。

Feb, 2019

提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。

Jun, 2018

通过使用 Gauß-Legendre 积分法加速伴随方法，我们提出了一种加速神经 ODE 训练的新方法，这对大型模型尤为有效，同时也为训练基于 SDE 的模型提供了新的方法。

Aug, 2023

本研究提出了一种使用人工神经网络解决初始和边界值问题的方法，其中差分方程的试验解被写成两部分的和，第一部分满足边界条件，不包含任何可调参数，第二部分涉及前馈神经网络，包含可调参数（权重）。因此，通过构造满足边界条件的方法，使神经网络训练满足差分方程。本文通过解决各种模型问题并与有限元素进行比较，说明了该方法的适用性范围从单个 ODE 到耦合 ODE 系统，再到 PDE。

May, 1997

通过使用内部成本启发式算法，本文开发了两种采样策略来减少函数评估数量并加速预测，与全局正则化相比，我们的方法在普通微分方程和随机微分方程中具有相似的性能而不会影响实施的灵活性。

Mar, 2023