利用深度神经网络进行数据驱动的控制方程近似

Nov, 2018

利用深度神经网络进行数据驱动的控制方程近似

Data Driven Governing Equations Approximation Using Deep Neural Networks

Tong Qin, Kailiang Wu, Dongbin Xiu

TL;DR使用深度神经网络和 ResNet 来近似未知的控制方程，提出了多步方法。三种方法都基于底层动态系统的积分形式，不需要时间导数数据来恢复方程，并且可以处理相对粗糙的轨迹数据。

Abstract

We present a numerical framework for approximating unknown governing equations using observation data and deep neural networks (DNN). In particular, we propose to use residual network (resnet) as the basic buildi

governing equations deep neural networks resnet rt-resnet rs-resnet

发现论文，激发创造

基于 RNN 残差的动态系统故障诊断中数值积分分析

本文研究了神经常微分方程约束下计算精度随时间的方法，使用在动态系统中，通过数据驱动建模和机器学习技术用于技术系统的残差评价，可以高效地检测故障，提高系统稳定性

May, 2023

连续深度神经网络

通过将连续动力学系统嵌入高阶数值积分方案中，我们构造了一种连续的深度神经网络框架 ——ContinuousNet，其具有与时间步长大小无关的层次独立性和增量深度训练方法，实现了在保持准确性的同时加快推断速度。

Aug, 2020

关于 ResNets 的时空表达性

该研究论文研究了残差网络（ResNets）在监督学习中的作用，提出了其作为 ODEs 的时空近似，并探讨了通过 ResNets 中残差块的数量和表达能力的增加来逼近 ODEs 的解，并推导了一定规则下获得预定精度所需的残差块复杂性的估计。

Oct, 2019

超越有限层神经网络：桥接深度架构和数值微分方程

利用数值微分方程设计方法，构建了新的网络结构 LM-architecture，能够在 CIFAR 和 ImageNet 上实现比 ResNet 和 ResNeXt 更高的性能，并且可以通过插入噪声来改善网络的鲁棒性。

Oct, 2017

高维随机偏微分方程深度神经网络代理

利用深度学习方法解决高维随机偏微分方程的问题。通过使用全连接深度残差网络来逼近随机偏微分方程，在确定逼近深度神经网络的参数时，采用了 SGD 的变种，并在扩散和热传导问题上得到了验证。

Jun, 2018

走向 Robust ResNet：迈出微小一步，跨越巨大一步

本文提出一种简单而有原则的方法来提高残差网络（ResNet）的鲁棒性，该方法基于动态系统视角，通过显式欧拉方法来控制 ResNet 的步幅 h，可以同时提高其训练和推广的稳健性。

Feb, 2019

通过动力系统进行深度学习：一种逼近视角

该研究利用连续时间动力系统的方法，将深度残差网络理想化为动力系统，从逼近的角度研究其通用逼近性，并建立了新的近似理论，揭示了流映射逼近组合函数的新范例，促进了深度学习中有用的数学框架的建立。

Dec, 2019

卷积神经网络结合龙格 - 库塔方法

本文提出了 Runge-Kutta 卷积神经网络（RKCNNs）这一新颖的网络结构，用高阶 Runge-Kutta 方法替代了隐式 Runge-Kutta 方法的迭代，从而在提高准确率的同时减少了计算量，并扩展了以数值方法为基础的动力系统的网络模型。

Feb, 2018

残余网络的随机训练：微分方程视角

本文研究了基于改进方程的方法，表明残差网络及其变体可以被视为弱逼近随机微分方程。从损失景观的角度提供了关于正则化效应的新视角，并为设计更可靠和高效的随机训练策略提供了启示。我们提出了一种利用伯努利丢弃来进行实验的新方法，从而验证了我们的理论发现。

Dec, 2018

基于动力系统的残差网络家族自适应时间步长控制器

本研究分析了步长对 Euler 方法和 ResNets 稳定性和性能的影响，提出了一个与当前步骤参数相关且具有过去步骤意识的自适应时间步控制器，并且在 ImageNet 和 CIFAR 上进行实验证明该方法可以在不引入额外推理开销的情况下提高稳定性和准确性。

Nov, 2019