广义拉格朗日神经网络
本文提出了一种使用神经网络来参数化任意 Lagrangian 的 Lagrangian 神经网络(LNNs),该方法不需要标准坐标,因此可适用于标准动量未知或难以计算的情况,并且在各种任务中产生遵守能量守恒条件的模型,通过在双摆和相对论粒子上的测试表明,该方法可用于建模且不会损耗能量,还可以应用于图形和连续系统,并证明其用于一维波动方程。
Mar, 2020
提出了一种数据驱动的积分方法,称为 Taylor-Lagrange NODEs (TL-NODEs),它使用定阶 Taylor 扩展进行数值积分,同时学习估计扩展的近似误差,从而在保持准确性的前提下,仅使用低阶 Taylor 扩展,大大降低了计算成本。一系列数值实验表明,TL-NODEs 比现有方法快一个数量级以上,性能也不会降低。
Jan, 2022
提出了一种名为 Neural Laplace 的框架,它使用 Laplace 域来建模系统的动态,并能学习各种微分方程类,包括延迟微分方程和积分微分方程,能够更稳健地建模粘性微分方程和具有分段强制函数的微分方程。在实验中,证明其在建模和外推各种微分方程的轨迹方面都能比较好的工作。
Jun, 2022
本文讨论了如何通过整合贝叶斯学习框架来量化神经普通微分方程中权重的不确定性,并且展示了在 MNIST 数据集上使用 GPU 加速的 No-U-Turn MCMC 采样器、Stochastic Gradient Hamiltonian Monte Carlo 和 Stochastic Langevin Gradient Descent 等推理方法成功集成神经 ODE 的实验结果。然后,我们首次证明了变分推理与标准化流和神经 ODE 的成功整合,生成了强大的贝叶斯神经 ODE 对象。最后,我们演示了如何利用普适的常微分方程概率地识别部分描述的动力系统中的模型规范,从而为探索认识上的不确定性提供了科学的机器学习工具。
Dec, 2020
本文介绍了连续深度图神经网络 (GNN) 的框架,将图神经常微分方程 (GDEs) 形式化为 GNN 的对应物,其输入输出关系由一系列 GNN 层的连续融合离散拓扑结构和微分方程来决定,证明了其兼容各种静态和自回归 GNN 模型。结果表明 GDEs 在静态设置中通过在前向传递中将数值方法纳入其中提供了计算优势,在动态设置中,通过利用潜在动态的几何结构性能得到了提高。
Nov, 2019
采用混合神经 ODE 结构结合符号回归来学习部分观测动力系统的控制方程,通过两个案例研究验证该方法成功地学习了这些系统中未观测状态的真实控制方程,并对测量噪声具有鲁棒性。
Apr, 2024
本研究提出了一种名为 LyaNet 的方法,基于 Lyapunov loss 公式训练普通微分方程,以鼓励推理动力学快速收敛到正确的预测,实验证明相对于标准神经 ODE 训练,LyaNet 可以提供更好的预测性能,更快的推理动力学收敛和更好的对抗鲁棒性。
Feb, 2022
本研究使用贝叶斯深度学习技术将轻量级机器学习方法应用于神经常微分方程以获得结构化和有意义的不确定性量化,研究了机械知识和不确定性量化在两种神经常微分方程框架下的相互作用 - 辛神经常微分方程和神经常微分方程物理模型的补充,证明了方法在低维 ODE 问题和高维偏微分方程上的有效性。
May, 2023
通过将连续 LIE 对称性引入神经 ODE 模型,将其与损失函数相结合,本文研究了在连续时间框架中捕捉系统动力学的神经 ODE 模型对称正则化。这种结构属性的引入能显著提高模型的鲁棒性和稳定性。
Nov, 2023