Aug, 2023

贝叶斯多项式神经网络与多项式神经常微分方程

PDF
TL;DR发展和验证了拉普拉斯逼近、马尔可夫链蒙特卡罗采样方法和变分推断等贝叶斯推断方法，发现拉普拉斯逼近是解决这类问题的最佳方法。我们的工作可以轻松扩展到多项式神经网络等符号神经网络的更广泛类别。
symbolic regressionpolynomial neural networkspolynomial neural ordinary differential equationsbayesian inference methodslaplace approximation
发现论文，激发创造
  • 可解释的多项式神经普通微分方程

    本研究介绍了使用多项式神经常微分方程（polynomial neural ODE）框架解决神经常微分方程（neural ODE）应用中，解释性和泛化能力问题的方法，并且演示了多项式神经常微分方程在预测能力和符号回归方面的优秀性。

    Aug, 2022

  • 贝叶斯神经常微分方程

    本文讨论了如何通过整合贝叶斯学习框架来量化神经普通微分方程中权重的不确定性，并且展示了在 MNIST 数据集上使用 GPU 加速的 No-U-Turn MCMC 采样器、Stochastic Gradient Hamiltonian Monte Carlo 和 Stochastic Langevin Gradient Descent 等推理方法成功集成神经 ODE 的实验结果。然后，我们首次证明了变分推理与标准化流和神经 ODE 的成功整合，生成了强大的贝叶斯神经 ODE 对象。最后，我们演示了如何利用普适的常微分方程概率地识别部分描述的动力系统中的模型规范，从而为探索认识上的不确定性提供了科学的机器学习工具。

    Dec, 2020

  • 记忆神经微分方程及正交多项式投影

    本研究提出了 PolyODE，一种基于正交多项式投影的神经常微分方程模型，用于学习动态系统，以实现长期记忆和整体表示，优于先前的模型在数据重建和下游预测任务中的性能。

    Mar, 2023

  • 普通微分方程的概率解作为非线性贝叶斯滤波：新视角

    本文提出了一种以高斯过程回归为基础的概率数值逼近方法来解决常微分方程，通过构建一个测量序列，观测高斯过程导数和向量场之间的差值，可以将问题转化为非线性贝叶斯滤波问题，从而推导出新颖的高斯支持 ODE 算法以及粒子滤波方法的非高斯近似。

    Oct, 2018

  • 普通微分方程的数据自适应概率似然近似

    本文提出一种基于贝叶斯过滤的概率常微分方程求解方法，通过从带噪声 ODE 观测数据中学习，能够显著减少参数的敏感性，提高参数估计的准确性。

    Jun, 2023

  • 神经常微分方程中的不确定性和结构

    本研究使用贝叶斯深度学习技术将轻量级机器学习方法应用于神经常微分方程以获得结构化和有意义的不确定性量化，研究了机械知识和不确定性量化在两种神经常微分方程框架下的相互作用 - 辛神经常微分方程和神经常微分方程物理模型的补充，证明了方法在低维 ODE 问题和高维偏微分方程上的有效性。

    May, 2023

  • NeuPDE: 基于神经网络的常微分方程和偏微分方程模型，用于建模时变数据

    使用神经网络和偏微分方程提取动态数据中的模型，参数化模型来结合空时样本相关性，在 MNIST 和 Fashion MNIST 上与其他深度神经网络进行了比较，证明本方法能够降低参数成本。

    Aug, 2019

  • 神经 ODE 中的预测之外：鉴别和干预

    采用简单的正则化方案和柔性神经 ODE，我们可以从时间序列数据中强大地恢复动态和因果结构，并对变量或系统自身进行准确的预测。

    Jun, 2021

  • 神经 Laplace：在 Laplace 域中学习不同类别的微分方程

    提出了一种名为 Neural Laplace 的框架，它使用 Laplace 域来建模系统的动态，并能学习各种微分方程类，包括延迟微分方程和积分微分方程，能够更稳健地建模粘性微分方程和具有分段强制函数的微分方程。在实验中，证明其在建模和外推各种微分方程的轨迹方面都能比较好的工作。

    Jun, 2022

  • 神经拉普拉斯以学习随机微分方程

    Neural Laplace 是学习不同类别的常微分方程的统一框架，但是许多系统无法用 ODE 建模，这篇论文将重点讨论 Neural Laplace 在学习不同类别的随机微分方程（SDE）的潜在应用。

    Jun, 2024