用神经粗糙微分方程处理长时间序列

ICMLSep, 2020

用神经粗糙微分方程处理长时间序列

Neural Rough Differential Equations for Long Time Series

James Morrill, Cristopher Salvi, Patrick Kidger, James Foster, Terry Lyons

TL;DR本文介绍了一种基于粗路径理论的新方法，使用 log-signature 表示输入信号，扩展了神经控制微分方程 (CDE) 的应用。这种扩展方法可以处理长度为 17k 的时间序列问题，并比现有方法具有更快的训练速度、更好的模型性能和更少的内存需求。

Abstract

neural controlled differential equations (CDEs) are the continuous-time analogue of recurrent neural networks, as Neural ODEs are to residual networks, and offer a memory-efficient continuous-time way to model functions of potentially irregular time series. Existing methods for computi

neural controlled differential equations rough path theory log-signature neural rdes long time series

发现论文，激发创造

神经控制微分方程用于在线预测任务

本文提出神经控制微分方程 (Neural CDE) 用于解释不规则时间序列的函数，同时研究了在连续监测过程中，如何解决实时在线预测的问题，本文提出的插值方案具有测量性和平滑性，并在 MIMIC-IV 医疗数据库上进行了实证测试，对于三个连续监测任务的准确性均有提升。

Jun, 2021

神经控制微分方程中的可学习路径

本文研究神经控制微分方程的连续解法，采用编码 - 解码模块，通过插值算法生成连续路径，达到更好的时间序列分类和预测表现。

Jan, 2023

基于对数神经控制微分方程的李括号效应

控制微分方程的向量场描述了控制路径与解路径的演变之间的关系。神经 CDE（NCDEs）将时间序列数据视为来自控制路径的观测值，使用神经网络对 CDE 的向量场进行参数化，并将解路径用作持续演化的隐藏状态。通过引入 Log-NCDEs 方法，利用粗糙路径研究中的 Log-ODE 方法来近似 CDE 的解，Log-NCDEs 在多元时间序列分类基准测试中展现出比 NCDEs、NRDEs 和两种最先进模型 S5 和线性递归单元更高的平均测试集准确率。

Feb, 2024

基于神经 RDE 模型求解路径相关偏微分方程

本文提出了一种基于神经粗糙微分方程（NRDE）模型来学习路径相关部分微分方程（PPDE），该模型通过对数签名特征有效地编码路径信息并捕捉基本动态，在 PPDE 解的连续时间模型中提供了内存使用效率和处理维度扩展性的优点，并通过多个数值实验验证了其性能优越性。

Jun, 2023

用于非规则时间序列的神经控制微分方程

本研究介绍了一个新的神经模型：神经控制微分方程模型，解决了利用常规微分方程对时间动态进行建模时无法针对后续观察调整轨迹的问题，并通过实验和理论结果展示其在较多数据集上实现了与其他神经网络模型相当的最佳性能

May, 2020

神经微分方程的可逆解法用于非规则采样时间序列的分析

基于神经微分方程的可逆解决方案对处理不规则和不完整的时间序列数据进行复杂性处理，使用神经控制微分方程和神经流的变体确保可逆变换，并通过增强的双潜在状态体系提供优越的分类和插值任务的模型建模，实证分析表明该方法明显优于现有模型，推进了不规则时间序列分析，并为多样的实际应用提供了一种多功能工具。

Jan, 2024

一种用于连续非马尔可夫随机控制问题的神经 RDE 方法

提出一种基于神经粗糙微分方程的新框架，用于解决非马尔可夫随机控制问题，通过演示控制过程作为神经粗糙微分方程的解的模型来展示控制 - 状态联合动力学如何通过一个未受控的增量神经粗糙微分方程进行管理，同时通过演示神经粗糙微分方程是随机不平滑路径函数的通用近似器来提供理论支撑，实验结果显示，这种方法比现有的基于 RNN 的方法在不规则采样下具有更高的精度和稳定性。

Jun, 2023

基于神经常微分方程的循环神经网络模型

该研究论文介绍了一种使用 ODE 的时间序列数据分析方法，提出基于 ODE 的 RNN 模型，可在较短的训练时间内学习具有不规则采样率的连续时间序列，并且计算效率更高、精度更高、设计更简单。

May, 2020

用神经微分方程学习神经网络连续学习规则的编程

本研究将学习规则和神经 ODE 相结合，构建了连续时间序列处理网络，学习如何在其他网络的快速变化的突触连接中操作短期记忆，这产生了快速权重程序员和线性变压器的连续时间对应物。该模型在各种时间序列分类任务中优于现有的神经控制微分方程模型，同时也解决了它们的根本可扩展性限制。

Jun, 2022

分析非规则时间序列数据的稳定神经随机微分方程

在处理真实世界的不规则时间序列数据中，由于不连续的采样间隔和缺失值，神经随机微分方程（Neural SDEs）的良好性能依赖于漂移和扩散函数的巧妙选择，本研究通过提出三个稳定的 Neural SDE 类别： Langevin 型 SDE、线性噪声 SDE 和几何 SDE，并通过广泛的实验验证了这些方法在分布转移和不同缺失率下的鲁棒性，展示了该方法在处理真实世界不规则时间序列数据中的有效性。

Feb, 2024