May, 2023

基于 RNN 残差的动态系统故障诊断中数值积分分析

PDF
TL;DR本文研究了神经常微分方程约束下计算精度随时间的方法，使用在动态系统中，通过数据驱动建模和机器学习技术用于技术系统的残差评价，可以高效地检测故障，提高系统稳定性
data-driven modelingmachine learningneural ordinary differential equationsfault diagnosis applicationssolver selection
发现论文，激发创造
  • 基于神经常微分方程的循环神经网络模型

    该研究论文介绍了一种使用 ODE 的时间序列数据分析方法，提出基于 ODE 的 RNN 模型，可在较短的训练时间内学习具有不规则采样率的连续时间序列，并且计算效率更高、精度更高、设计更简单。

    May, 2020

  • 利用深度神经网络进行数据驱动的控制方程近似

    使用深度神经网络和 ResNet 来近似未知的控制方程，提出了多步方法。三种方法都基于底层动态系统的积分形式，不需要时间导数数据来恢复方程，并且可以处理相对粗糙的轨迹数据。

    Nov, 2018

  • 神经常微分方程

    提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。

    Jun, 2018

  • 微分方程作为深度神经网络的模型

    本研究系统地分析了用作机器学习模型的微分方程的一般性质，并证明了损失函数相对于隐藏状态的梯度可被视为一般化的动量，可以应用经典力学的工具。此外，我们还展示了残差网络和前馈神经网络可以与微小非线性权重矩阵偏差只稍微偏离单位矩阵的微分方程相关。我们提出了一种描述这种网络的微分方程并研究了它的属性。

    Sep, 2019

  • 残余网络的随机训练：微分方程视角

    本文研究了基于改进方程的方法，表明残差网络及其变体可以被视为弱逼近随机微分方程。从损失景观的角度提供了关于正则化效应的新视角，并为设计更可靠和高效的随机训练策略提供了启示。我们提出了一种利用伯努利丢弃来进行实验的新方法，从而验证了我们的理论发现。

    Dec, 2018

  • 深度残差网络对神经常微分方程的隐式正则化

    深度残差网络与神经常微分方程之间的离散化联系被建立，证明了在特定条件下网络收敛至全局最小值。

    Sep, 2023

  • 残差神经网络的深层限制

    本文研究了残差神经网络模型，并展示了该模型的深层级极限的收敛问题，证明了残差神经网络模型的优化参数在深层级极限的情况下是收敛的。

    Oct, 2018

  • 残差网络与非残差网络之间的插值

    本研究提出了一种新的 ODE 模型，该模型可以通过添加阻尼项来回复 ResNet 和 CNN，并通过调整插值系数来提供解释残差和非残差网络的统一框架，同时其使用的 Lyapunov 分析表明了更好的稳定性，实验证明该方法可以显著提高图像分类的准确性，并在攻击方向上展现了更强的鲁棒性。

    Jun, 2020

  • 自适应时间步长神经微分循环神经网络

    本文提出了一种基于神经 ODE 的 RNN 模型 (RNN-ODE-Adap)，用于建模和预测非平稳时间序列数据，该模型可适应性地选择时间步长，并在 Hawkes 型时间序列数据中表现出一致性估计预测能力和计算成本优势。

    Jun, 2023

  • 神经常微分方程用于环境水动力学数据驱动的降阶建模

    本研究探讨使用神经常微分方程作为一种传播基于简化模型的潜在空间动力学的方法，并与两种传统的非侵入性方法进行比较，发现神经常微分方程提供了一个稳定和准确的演化潜在空间动力学的框架，但为了促进其广泛应用于大型系统，需要加速其训练时间。

    Apr, 2021