基于系统感知的神经 ODE 过程用于少样本贝叶斯优化

Jun, 2024

基于系统感知的神经 ODE 过程用于少样本贝叶斯优化

System-Aware Neural ODE Processes for Few-Shot Bayesian Optimization

Jixiang Qing, Becky D Langdon, Robert M Lee, Behrang Shafei, Mark van der Wilk...

TL;DR基于系统先验信息，我们引入了一种少样本贝叶斯优化（BO）框架，该框架有效地实现了对初始条件和观测时机的优化，核心是基于多条轨迹的神经常微分方程过程（SANODEP），在此基础上提出了一种专为优化目的设计的多场景损失函数。

Abstract

We consider the problem of optimizing initial conditions and timing in dynamical systems governed by unknown ordinary differential equatio

optimizing initial conditions timing dynamical systems bayesian optimization (bo)system-aware neural ode processes (sanodep)

发现论文，激发创造

神经 ODE 过程

提出了一种新的随机过程 —— 神经 ODE 过程（Neural ODE Processes），用于捕捉低维度和高维度的时间序列系统动力学，并且相较于现有的神经过程模型，该模型具有适应实时应用的能力和更好的不确定性估计。

Mar, 2021

贝叶斯神经常微分方程

本文讨论了如何通过整合贝叶斯学习框架来量化神经普通微分方程中权重的不确定性，并且展示了在 MNIST 数据集上使用 GPU 加速的 No-U-Turn MCMC 采样器、Stochastic Gradient Hamiltonian Monte Carlo 和 Stochastic Langevin Gradient Descent 等推理方法成功集成神经 ODE 的实验结果。然后，我们首次证明了变分推理与标准化流和神经 ODE 的成功整合，生成了强大的贝叶斯神经 ODE 对象。最后，我们演示了如何利用普适的常微分方程概率地识别部分描述的动力系统中的模型规范，从而为探索认识上的不确定性提供了科学的机器学习工具。

Dec, 2020

动态稀疏图上图序列神经 ODE 过程用于链接预测

本研究提出了一种基于神经过程的新方法，称为 Graph Sequential Neural ODE Process (GSNOP)，通过定义函数分布，将不确定性引入预测中，使其具有更好的泛化性能和更强的扩展性，同时不会过拟合于稀疏数据，在三个动态图数据集上表现良好，推进了无监督学习和动态图挖掘领域的研究。

Nov, 2022

基于同伦的神经常微分方程训练，用于准确的动态探索

本研究提出一种利用混沌和数学优化的训练算法，可有效解决 NeuralODEs 实际应用中训练时间长，效果不佳的问题。与传统训练方法相比，该算法在不更改模型架构的情况下，可大幅降低误差值，并能够准确地捕捉真实的长期行为并正确地向未来外推。

Oct, 2022

神经 ODE 的高效认证训练与鲁棒性检验

提出了一种名为 GAINS 的分析框架，它结合了三个关键思想，基于变量但离散时间步的 ODE 解算器、求解器轨迹的高效图形表示和一种基于该图形表示的新颖抽象算法，可以有效分析高维 NODEs 和提供保证，并将运行时从指数级降至线性对数阶，通过在计算机视觉和时间序列预测问题上的大量评估，证明了该方法的有效性。

Mar, 2023

一首颂词给一阶常微分方程

提出了一种新的神经 ODE 算法范例，称为 ODEtoODE，其中主要流的时间相关参数随着正交群 O（d）上的矩阵流发展。这种嵌套的两种流系统，其中参数流限制在紧致流形上，提供稳定性和有效性训练，并能解决梯度消失 - 爆炸问题，从而导致更好的下游模型和进化策略中训练增强学习策略和在监督学习设置中，通过与以前的 SOTA 基线进行比较。我们提供了独立于网络深度的强收敛结果，支持我们的经验研究。我们的结果表明，深度神经网络理论与紧凑流形上的矩阵流领域之间存在着有趣的联系。

Jun, 2020

MetaNODE: 面向少样本学习的神经 ODE 原型优化

本研究提出了一种基于元学习的原型优化框架，称为 MetaNODE，通过神经常微分方程模型优化模型原型，解决了在稀疏数据上梯度信息失真的问题，从而实现了有效的 Few-Shot Learning。在 miniImagenet、tieredImagenet 和 CUB-200-2011 等数据集上进行了广泛实验。

Mar, 2021

记忆神经微分方程及正交多项式投影

本研究提出了 PolyODE，一种基于正交多项式投影的神经常微分方程模型，用于学习动态系统，以实现长期记忆和整体表示，优于先前的模型在数据重建和下游预测任务中的性能。

Mar, 2023

使用特权信息进行动态元学习

该研究论文介绍了利用神经 ODE 过程的元学习方法，使用潜变量模型进行灵活的上下文信息聚合，并扩展该模型以使用更多的优先信息，在模拟动态任务中验证了改进的准确性和校准性。

Apr, 2021

NODEC: 用于未知动态系统的神经常微分方程优化控制

通过耦合的神经 ODE 模型，NODEC 实现了对未知动力学系统的控制以及目标状态下的优化控制，展示了其在学习未知动力学系统的最优控制方面的有效性和数据效率。

Jan, 2024