我们提出并分析了一种用于ODE模型的块协调下降近端算法(BCD-prox)以实现同时过滤和参数估计。与现有方法相比,我们在最多维度d=40的ODE系统上展示了BCD-prox的提高的鲁棒性(对于噪声、参数初始化和超参数)、减少的训练时间以及改进的过滤状态和估计参数的准确性。我们展示了BCD-prox如何与多步数值离散化一起使用,并在包括感兴趣的实际系统的假设下证明了BCD-prox的收敛性。
Oct, 2018
本研究提出了一种结合基于signature和log-signature的方法和循环神经网络的混合算法来学习流数据的功能逼近,其具有渐进复杂度低、训练速度快、精度高等优点,并在各数据集上得到了出色的准确性和鲁棒性。
Aug, 2019
本文提出了一种基于正则化的方法,该方法利用自适应微分方程求解器的内部代价启发式和离散相邻灵敏度来引导训练过程,以学习更易于求解的神经微分方程,并在不增加训练成本的情况下加速预测,该方法可应用于常微分方程和神经随机微分方程。
May, 2021
神经微分方程是深度学习和动力系统相结合的一个研究领域,可用于解决生成式问题、动力系统和时间序列。本文提供了这个领域的深入调查,并涵盖了神经微分方程的多种类型及其相关的数值方法和符号回归。
Feb, 2022
提出了一种名为 Neural Laplace 的框架,它使用 Laplace 域来建模系统的动态,并能学习各种微分方程类,包括延迟微分方程和积分微分方程,能够更稳健地建模粘性微分方程和具有分段强制函数的微分方程。在实验中,证明其在建模和外推各种微分方程的轨迹方面都能比较好的工作。
Jun, 2022
本研究提出一种利用混沌和数学优化的训练算法,可有效解决NeuralODEs实际应用中训练时间长,效果不佳的问题。与传统训练方法相比,该算法在不更改模型架构的情况下,可大幅降低误差值,并能够准确地捕捉真实的长期行为并正确地向未来外推。
Oct, 2022
本研究使用贝叶斯深度学习技术将轻量级机器学习方法应用于神经常微分方程以获得结构化和有意义的不确定性量化,研究了机械知识和不确定性量化在两种神经常微分方程框架下的相互作用-辛神经常微分方程和神经常微分方程物理模型的补充,证明了方法在低维 ODE 问题和高维偏微分方程上的有效性。
May, 2023
ODEFormer是第一个能从单个解轨迹的观察中推断出符号形式的多维常微分方程(ODE)系统的transformer。它在两个数据集上进行了广泛的评估,并且在噪音和不规律采样观测方面显示出明显改进的性能和更快的推断速度。代码、模型和基准数据集已公开发布。
Oct, 2023
InvertibleNetworks.jl是一个Julia软件包,专为实现在高维分布中进行密度估计和抽样的可扩展的可逆流方法而设计。该软件包通过利用可逆流的固有可逆性,在反向传播期间显著降低了内存需求,相较于依赖于自动微分框架的现有的可归一化流软件包,它在内存效率方面表现出色。InvertibleNetworks.jl已被应用于多个领域,包括地震成像、医学成像和CO2监测,证明了其在学习高维分布方面的有效性。
Dec, 2023
采用傅里叶分析为基础的无需模拟的神经常微分方程框架,在复杂系统的动力学建模方面表现出色。
May, 2024