本文提出了基于神经常微分方程（Neural ODEs）的神经控制策略，将控制策略优化问题转化为一个 Neural ODE 问题，有效地利用动态系统模型，展示了这种确定性神经控制策略在两个受控系统中的功效：控制的 Van der Pol 系统和一个生物反应器控制问题。该方法为非线性控制问题的无法处理的闭环解提供了一种实用的逼近方法。

Oct, 2022

通过将连续 LIE 对称性引入神经 ODE 模型，将其与损失函数相结合，本文研究了在连续时间框架中捕捉系统动力学的神经 ODE 模型对称正则化。这种结构属性的引入能显著提高模型的鲁棒性和稳定性。

Nov, 2023

本文研究了一类神经常微分方程，通过设计这类方程在光滑流形上，使其可以应用于机械系统等领域中。作者利用控制可比性的性质来表征了这类方程的特性，并且使用 PyTorch 对动力系统的几何模型 S2 和三维正交群 SO (3) 进行了数值实验，验证了其优于常规神经常微分方程的性能。

May, 2023

本研究提出了 PolyODE，一种基于正交多项式投影的神经常微分方程模型，用于学习动态系统，以实现长期记忆和整体表示，优于先前的模型在数据重建和下游预测任务中的性能。

Mar, 2023

本文基于鲁棒控制的视角讨论神经 ODE 的对抗训练，引入了一种替代经验风险最小化的方法，通过可靠处理输入扰动来实现可靠结果。将深度神经网络解释为控制系统离散化，利用控制理论的强大工具来开发和理解机器学习。我们将带有扰动数据的对抗性训练描述为极小极大最优控制问题，并推导出 Pontryagin's Maximum Principle 形式的一阶最优性条件。我们提供了鲁棒训练的新解释，提出了一种替代加权技术，并在低维分类任务上进行了测试。

Oct, 2023

本研究探讨如何使用向量场在光滑流形上进行参数化，以及如何进行梯度学习来实现基于神经 ODE 的流规范化方法。

Jun, 2020

采用混合神经 ODE 结构结合符号回归来学习部分观测动力系统的控制方程，通过两个案例研究验证该方法成功地学习了这些系统中未观测状态的真实控制方程，并对测量噪声具有鲁棒性。

Apr, 2024

本文介绍了一种基于控制论、深度学习和统计抽样理论的框架，来研究深度神经网络和神经 ODE 模型，包括 Mean-Field Langevin 动力学的梯度流、时间一致传播的混沌性等问题，并提供了与学习速率、粒子数 / 模型参数和梯度算法迭代次数相关的显式收敛速率和量化一般化误差界限。

Dec, 2019

此研究提出了一种新颖的方法，利用神经常微分方程（Neural ODEs）揭示大型语言模型（LLMs）中输入和输出之间错综复杂的关系，并采用稳健控制来微调输出以满足预定义的标准。该方法的核心是将 LLM 的输入和输出转换为低维的潜在空间，从而便于详细研究 LLM 内的信息处理路径。神经常微分方程在这一研究中发挥关键作用，提供了一个动态模型，捕捉了 LLM 中数据的连续演化。此外，稳健控制机制被应用于策略性地调整模型的输出，确保其不仅保持高质量和可靠性，还符合特定的性能标准。神经常微分方程和稳健控制的融合在 LLM 可解释性方面代表了重大进展，提供了一个综合框架，阐明了这些复杂模型以前不透明的机制。我们的实证结果验证了这种整合方法的有效性，为可解释 AI 领域做出了重大贡献，将先进的机器学习技术与对 AI 输出的透明度和控制的重要需求相结合。

Jun, 2024

本研究旨在解决学习具有刚性系统的神经普通微分方程（ODE）的挑战，它通常来自化学和生物系统中的化学动力学建模。本文提出了使用深度网络、适当缩放网络输出以及稳定梯度计算等关键技术的方法，成功地演示了解决 Robertson 问题和空气污染问题中的硬化系统。通过使用学习刚性神经 ODE 的工具，可以在能源转换、环境工程以及生命科学等具有广泛时间尺度变化的应用中使用神经 ODE。

Mar, 2021