Oct, 2023

基于循环神经网络学习非线性积分算子及其在求解积分 - 微分方程中的应用

PDF
TL;DR利用 LSTM-RNN（长短期记忆 - 循环神经网络）学习和表示非线性积分微分方程（IDEs）中的非线性积分算子，从而提高求解效率和稳定性。
发现论文，激发创造
  • 学习非规则采样时间序列中的长期依赖

    我们提出了一种基于长短期记忆机制的算法来解决非均匀采样数据上具有长期依赖性的序列建模问题，其核心是将记忆从时间连续状态中分离出来，形成了一种新的 ODE-LSTM 模型。实验证明，该模型在非均匀采样数据的长期依赖建模上优于基于其他递归神经网络的模型。

    Jun, 2020

  • 基于神经常微分方程的循环神经网络模型

    该研究论文介绍了一种使用 ODE 的时间序列数据分析方法，提出基于 ODE 的 RNN 模型，可在较短的训练时间内学习具有不规则采样率的连续时间序列，并且计算效率更高、精度更高、设计更简单。

    May, 2020

  • 神经积分微分方程

    本文介绍了基于 Integro-Differential Equations（IDEs）理论的一种新型深度学习框架：Neural IDE（NIDE），采用神经网络学习积分算子，可对复杂的非局部动态系统进行建模，并应用于多个玩具和大脑活动数据集，验证了其优于其他模型的性能，并可将动态系统分解为马尔可夫和非马尔可夫构成部分。

    Jun, 2022

  • 基于 RNN 残差的动态系统故障诊断中数值积分分析

    本文研究了神经常微分方程约束下计算精度随时间的方法，使用在动态系统中，通过数据驱动建模和机器学习技术用于技术系统的残差评价，可以高效地检测故障，提高系统稳定性

    May, 2023

  • 循环神经网络（RNN）和长短时记忆网络（LSTM）的基础知识

    该论文旨在通过从信号处理中提取概念，正式导出经典的 RNN 公式，揭示 LSTM 系统的组成部分，并将 RNN 转换为 Vanilla LSTM 网络，以便于理解和实现。在此基础上，作者提出了基于 Vanilla LSTM 的最新扩展，适合机器学习从业者参考和研究。

    Aug, 2018

  • 差分循环神经网络用于动作识别

    本文提出了一种差分门控 LSTM 神经网络，它采用导数来量化关键运动模式对时间序列数据的信息增益，从而提高动作识别的准确率。

    Apr, 2015

  • 自适应时间步长神经微分循环神经网络

    本文提出了一种基于神经 ODE 的 RNN 模型 (RNN-ODE-Adap)，用于建模和预测非平稳时间序列数据，该模型可适应性地选择时间步长，并在 Hawkes 型时间序列数据中表现出一致性估计预测能力和计算成本优势。

    Jun, 2023

  • 使用具有 log signature 功能的 RNN 学习随机微分方程

    本研究提出了一种结合基于 signature 和 log-signature 的方法和循环神经网络的混合算法来学习流数据的功能逼近，其具有渐进复杂度低、训练速度快、精度高等优点，并在各数据集上得到了出色的准确性和鲁棒性。

    Aug, 2019

  • 用于不规则采样时间序列的潜在 ODE

    本文提出了一种名为 ODE-RNNs 的模型，可以对非匀齐时间间隔的时间序列进行建模，并通过实验表明，这种基于 ODE 的模型在处理不规则抽样数据时比基于 RNN 的模型表现更优。

    Jul, 2019

  • 深度差分循环神经网络

    使用深度可微分循环神经网络 (d2RNN) 和微分状态，对长短期记忆网络 (LSTM) 进行改进，使其能够检测连续输入数据中的空间时间动态信息，并在人类活动数据集 NUS-HGA 和 Violent-Flows 上超越了最先进的 LSTM 和非 LSTM 算法。

    Apr, 2018