动力系统与机器学习之桥：工程化的常微分方程作为分类算法（EODECA）

Nov, 2023

动力系统与机器学习之桥：工程化的常微分方程作为分类算法（EODECA）

A Bridge between Dynamical Systems and Machine Learning: Engineered Ordinary Differential Equations as Classification Algorithm (EODECA)

PDF

Raffaele Marino, Lorenzo Giambagli, Lorenzo Chicchi, Lorenzo Buffoni, Duccio Fanelli

TL;DR利用工程化的常微分方程作为分类算法（EODECAs），建立在连续常微分方程的神经网络基础上，以桥接机器学习和动力系统，提高分类性能和内在可解释性。

Abstract

In a world increasingly reliant on machine learning, the interpretability of these models remains a substantial challenge, with many equating their functionality to an enigmatic black box. This study seeks to bri

machine learning interpretability dynamical systems classification algorithms neural networks

发现论文，激发创造

分解神经常微分方程

本文通过进一步开发连续深度神经微分方程模型，以期澄清几种设计选择对其底层动态的影响，进而解密其内部运作方式。

Feb, 2020

神经微分方程

神经微分方程是深度学习和动力系统相结合的一个研究领域，可用于解决生成式问题、动力系统和时间序列。本文提供了这个领域的深入调查，并涵盖了神经微分方程的多种类型及其相关的数值方法和符号回归。

Feb, 2022

神经常微分方程中的不确定性和结构

本研究使用贝叶斯深度学习技术将轻量级机器学习方法应用于神经常微分方程以获得结构化和有意义的不确定性量化，研究了机械知识和不确定性量化在两种神经常微分方程框架下的相互作用 - 辛神经常微分方程和神经常微分方程物理模型的补充，证明了方法在低维 ODE 问题和高维偏微分方程上的有效性。

May, 2023

普适微分方程的分析：数据驱动常微分方程的发现

本文研究了使用 Physiscs-informed Machine Learning 方法识别常微分方程，通过两个案例研究，发现了结合数据驱动方法和数值求解器时产生的一些问题，以及数据收集过程的重要性。

Jun, 2023

神经常微分方程

提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。

Jun, 2018

神经 ODE 中的预测之外：鉴别和干预

采用简单的正则化方案和柔性神经 ODE，我们可以从时间序列数据中强大地恢复动态和因果结构，并对变量或系统自身进行准确的预测。

Jun, 2021

神经 Laplace：在 Laplace 域中学习不同类别的微分方程

提出了一种名为 Neural Laplace 的框架，它使用 Laplace 域来建模系统的动态，并能学习各种微分方程类，包括延迟微分方程和积分微分方程，能够更稳健地建模粘性微分方程和具有分段强制函数的微分方程。在实验中，证明其在建模和外推各种微分方程的轨迹方面都能比较好的工作。

Jun, 2022

硬神经常微分方程

本研究旨在解决学习具有刚性系统的神经普通微分方程（ODE）的挑战，它通常来自化学和生物系统中的化学动力学建模。本文提出了使用深度网络、适当缩放网络输出以及稳定梯度计算等关键技术的方法，成功地演示了解决 Robertson 问题和空气污染问题中的硬化系统。通过使用学习刚性神经 ODE 的工具，可以在能源转换、环境工程以及生命科学等具有广泛时间尺度变化的应用中使用神经 ODE。

Mar, 2021

电路的索引感知学习

电路的设计是计算机辅助工程中的重要部分，而有关可调参数对最终设计的影响的量化需要新的方法。本文介绍了一种基于机器学习和改进的节点分析的方法，通过解耦系统方程，只学习微分变量并使用解耦关系重构代数变量，从而保证了代数约束的准确性。

Sep, 2023

神经常微分方程用于环境水动力学数据驱动的降阶建模

本研究探讨使用神经常微分方程作为一种传播基于简化模型的潜在空间动力学的方法，并与两种传统的非侵入性方法进行比较，发现神经常微分方程提供了一个稳定和准确的演化潜在空间动力学的框架，但为了促进其广泛应用于大型系统，需要加速其训练时间。

Apr, 2021