AAAINov, 2019

基于动力系统的残差网络家族自适应时间步长控制器

PDF
TL;DR本研究分析了步长对 Euler 方法和 ResNets 稳定性和性能的影响，提出了一个与当前步骤参数相关且具有过去步骤意识的自适应时间步控制器，并且在 ImageNet 和 CIFAR 上进行实验证明该方法可以在不引入额外推理开销的情况下提高稳定性和准确性。
resnetsode systemsadaptive time steppingstabilityperformance
发现论文，激发创造
  • 走向 Robust ResNet：迈出微小一步，跨越巨大一步

    本文提出一种简单而有原则的方法来提高残差网络（ResNet）的鲁棒性，该方法基于动态系统视角，通过显式欧拉方法来控制 ResNet 的步幅 h，可以同时提高其训练和推广的稳健性。

    Feb, 2019

  • 利用深度神经网络进行数据驱动的控制方程近似

    使用深度神经网络和 ResNet 来近似未知的控制方程，提出了多步方法。三种方法都基于底层动态系统的积分形式，不需要时间导数数据来恢复方程，并且可以处理相对粗糙的轨迹数据。

    Nov, 2018

  • 卷积神经网络结合龙格 - 库塔方法

    本文提出了 Runge-Kutta 卷积神经网络（RKCNNs）这一新颖的网络结构，用高阶 Runge-Kutta 方法替代了隐式 Runge-Kutta 方法的迭代，从而在提高准确率的同时减少了计算量，并扩展了以数值方法为基础的动力系统的网络模型。

    Feb, 2018

  • 连续深度神经网络

    通过将连续动力学系统嵌入高阶数值积分方案中，我们构造了一种连续的深度神经网络框架 ——ContinuousNet，其具有与时间步长大小无关的层次独立性和增量深度训练方法，实现了在保持准确性的同时加快推断速度。

    Aug, 2020

  • 自适应时间步长神经微分循环神经网络

    本文提出了一种基于神经 ODE 的 RNN 模型 (RNN-ODE-Adap)，用于建模和预测非平稳时间序列数据，该模型可适应性地选择时间步长，并在 Hawkes 型时间序列数据中表现出一致性估计预测能力和计算成本优势。

    Jun, 2023

  • 基于 RNN 残差的动态系统故障诊断中数值积分分析

    本文研究了神经常微分方程约束下计算精度随时间的方法，使用在动态系统中，通过数据驱动建模和机器学习技术用于技术系统的残差评价，可以高效地检测故障，提高系统稳定性

    May, 2023

  • TSONN：面向时间步进的神经网络用于求解偏微分方程

    通过将时间步进方法与深度学习相结合，本研究将原始的 ill-conditioned 优化问题转化为一系列基于给定伪时间间隔的 well-conditioned 子问题，从而大幅提高了模型训练的收敛性，提供了一个稳健的基于优化的 PDE 求解器。与基于传统网格的数值方法相比，在神经网络优化方法框架下，本方法展示了时间步进方法的几个新颖特性和优势，同时显著提高了显式方案的时间步长，并且隐式方案的实现方式与显式方案一样简单。

    Oct, 2023

  • 多尺度微分方程时间步进的分层深度学习

    本文提出了一种基于深度神经网络的多尺度时间步进方案来数值模拟非线性微分方程的系统，解决了多时间尺度模型的数值模拟问题，同时提高了模拟的准确性和计算效率。

    Aug, 2020

  • 关于 ResNets 的时空表达性

    该研究论文研究了残差网络（ResNets）在监督学习中的作用，提出了其作为 ODEs 的时空近似，并探讨了通过 ResNets 中残差块的数量和表达能力的增加来逼近 ODEs 的解，并推导了一定规则下获得预定精度所需的残差块复杂性的估计。

    Oct, 2019

  • 深度残差网络的缩放性质

    通过数值实验，我们研究了 Residual 网络的权重性质和与深度有关的规模，在某些网络结构下得到了另一种常微分方程的极限，这表明了深度 ResNets 的极限模型不完全适用于神经正则微分方程。

    May, 2021