Aug, 2022

可解释的多项式神经普通微分方程

PDF
TL;DR本研究介绍了使用多项式神经常微分方程（polynomial neural ODE）框架解决神经常微分方程（neural ODE）应用中，解释性和泛化能力问题的方法，并且演示了多项式神经常微分方程在预测能力和符号回归方面的优秀性。
neural networksuniversal function approximatorspolynomial neural odespredictive capabilitysymbolic regression
发现论文，激发创造
  • 记忆神经微分方程及正交多项式投影

    本研究提出了 PolyODE，一种基于正交多项式投影的神经常微分方程模型，用于学习动态系统，以实现长期记忆和整体表示，优于先前的模型在数据重建和下游预测任务中的性能。

    Mar, 2023

  • 贝叶斯多项式神经网络与多项式神经常微分方程

    发展和验证了拉普拉斯逼近、马尔可夫链蒙特卡罗采样方法和变分推断等贝叶斯推断方法，发现拉普拉斯逼近是解决这类问题的最佳方法。我们的工作可以轻松扩展到多项式神经网络等符号神经网络的更广泛类别。

    Aug, 2023

  • 分解神经常微分方程

    本文通过进一步开发连续深度神经微分方程模型，以期澄清几种设计选择对其底层动态的影响，进而解密其内部运作方式。

    Feb, 2020

  • 基于神经常微分方程的循环神经网络模型

    该研究论文介绍了一种使用 ODE 的时间序列数据分析方法，提出基于 ODE 的 RNN 模型，可在较短的训练时间内学习具有不规则采样率的连续时间序列，并且计算效率更高、精度更高、设计更简单。

    May, 2020

  • 神经常微分方程

    提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。

    Jun, 2018

  • 神经常微分方程中的不确定性和结构

    本研究使用贝叶斯深度学习技术将轻量级机器学习方法应用于神经常微分方程以获得结构化和有意义的不确定性量化，研究了机械知识和不确定性量化在两种神经常微分方程框架下的相互作用 - 辛神经常微分方程和神经常微分方程物理模型的补充，证明了方法在低维 ODE 问题和高维偏微分方程上的有效性。

    May, 2023

  • 硬神经常微分方程

    本研究旨在解决学习具有刚性系统的神经普通微分方程（ODE）的挑战，它通常来自化学和生物系统中的化学动力学建模。本文提出了使用深度网络、适当缩放网络输出以及稳定梯度计算等关键技术的方法，成功地演示了解决 Robertson 问题和空气污染问题中的硬化系统。通过使用学习刚性神经 ODE 的工具，可以在能源转换、环境工程以及生命科学等具有广泛时间尺度变化的应用中使用神经 ODE。

    Mar, 2021

  • 神经常微分方程用于环境水动力学数据驱动的降阶建模

    本研究探讨使用神经常微分方程作为一种传播基于简化模型的潜在空间动力学的方法，并与两种传统的非侵入性方法进行比较，发现神经常微分方程提供了一个稳定和准确的演化潜在空间动力学的框架，但为了促进其广泛应用于大型系统，需要加速其训练时间。

    Apr, 2021

  • 神经常微分方程用于干预建模

    该论文提出了一种名为 IMODE 的新型神经 ODE 方法，该方法可以有效地处理具有干预效应的实际系统动态，并通过合成和真实时间序列数据集的实验结果展示 IMODE 相对于现有方法的优越性。

    Oct, 2020

  • 神经 Laplace：在 Laplace 域中学习不同类别的微分方程

    提出了一种名为 Neural Laplace 的框架，它使用 Laplace 域来建模系统的动态，并能学习各种微分方程类，包括延迟微分方程和积分微分方程，能够更稳健地建模粘性微分方程和具有分段强制函数的微分方程。在实验中，证明其在建模和外推各种微分方程的轨迹方面都能比较好的工作。

    Jun, 2022