基于动态系统的基础推理模型
本研究使用贝叶斯深度学习技术将轻量级机器学习方法应用于神经常微分方程以获得结构化和有意义的不确定性量化,研究了机械知识和不确定性量化在两种神经常微分方程框架下的相互作用-辛神经常微分方程和神经常微分方程物理模型的补充,证明了方法在低维 ODE 问题和高维偏微分方程上的有效性。
May, 2023
提出了一种方法,通过在一种框架内结合变分自动编码器和(时空)注意力机制,从高维经验数据中学习动力系统,以实现确定一定科学动力学不变的设计,这种方法允许在任何连续时刻有效推断系统行为,是从异构数据中高效学习动态模型的一种有前途的新框架。
Jun, 2023
ODEFormer是第一个能从单个解轨迹的观察中推断出符号形式的多维常微分方程(ODE)系统的transformer。它在两个数据集上进行了广泛的评估,并且在噪音和不规律采样观测方面显示出明显改进的性能和更快的推断速度。代码、模型和基准数据集已公开发布。
Oct, 2023
我们提出了TS-NODE,这是首个使用NODE对动态系统进行半监督建模的方法,它通过生成廉价的合成伪轨迹来扩大状态空间中的探索,解决了由于缺乏真实系统数据而产生的挑战,并在教师-学生模型下根据学生的反馈来纠正教师模型。TS-NODE在多个动态系统建模任务中比基线的神经ODE模型展现了显著的性能提升。
Oct, 2023
通过从嘈杂和稀疏的可观测数据中识别微分方程,我们开发了一个框架,学习建模复杂动力行为的数学表达式,从而填补了基于经验数据而非已知物理机制的系统的数学模型的空白。
Dec, 2023
采用混合神经ODE结构结合符号回归来学习部分观测动力系统的控制方程,通过两个案例研究验证该方法成功地学习了这些系统中未观测状态的真实控制方程,并对测量噪声具有鲁棒性。
Apr, 2024
神经常微分方程通常难以推广到基础系统参数变化所创建的新动态行为,即使这些动态行为与先前观察到的行为相近。本文引入神经上下文流(NCF),一种将未观察到的参数编码成输入矢量场的潜在上下文向量的框架。NCF利用矢量场相对于参数的可微性,结合一阶泰勒展开,使得任何上下文向量都能影响其他参数的轨迹。我们验证了该方法,并将其与已建立的多任务和元学习方法进行了比较,结果表明在Lotka-Volterra、Glycolytic Oscillator和Gray-Scott问题的领域内和分布外评估中,均方误差上具有竞争力。本研究对于科学和相关领域的基础模型以及从条件神经常微分方程中受益的领域具有实际意义。我们的代码开放在此 https URL。
May, 2024
本研究解决了在科学与工程领域中,时间依赖测量数据的理解及恢复相应微分方程模型的挑战。提出了一种名为动态SINDy的机器学习方法,针对非线性、噪声和非自主动力系统的稀疏常微分方程进行建模,并能够处理系统参数随时间变化的问题。验证结果表明,该方法在处理真实的、噪声和混沌数据集时表现出色,具有广泛的应用潜力。
Oct, 2024