Oct, 2022

神经常微分方程作为非线性最优控制的反馈策略

PDF
TL;DR本文提出了基于神经常微分方程（Neural ODEs）的神经控制策略，将控制策略优化问题转化为一个 Neural ODE 问题，有效地利用动态系统模型，展示了这种确定性神经控制策略在两个受控系统中的功效：控制的 Van der Pol 系统和一个生物反应器控制问题。该方法为非线性控制问题的无法处理的闭环解提供了一种实用的逼近方法。
neural odesoptimal controldynamical systemsneural networksconstraints
发现论文，激发创造
  • 用神经微分方程学习神经网络连续学习规则的编程

    本研究将学习规则和神经 ODE 相结合，构建了连续时间序列处理网络，学习如何在其他网络的快速变化的突触连接中操作短期记忆，这产生了快速权重程序员和线性变压器的连续时间对应物。该模型在各种时间序列分类任务中优于现有的神经控制微分方程模型，同时也解决了它们的根本可扩展性限制。

    Jun, 2022

  • 神经流：神经常微分方程的有效替代方案

    本文提出通过直接建模解曲线流和神经网络，消除昂贵的数值解算器，提高神经 ODE 的建模能力，并提供几种适用于不同应用场景的流体结构，从而提高计算效率和一致性。应用于时间序列建模、预测和密度估计，取得了良好的泛化性能。

    Oct, 2021

  • 神经 ODE 控制用于分类、逼近和传输

    从控制理论角度分析神经常微分方程（NODEs），研究其在数据分类和通用逼近等深度学习范式中的应用，提出了同时控制 NODE 系统的方法以及建立了深度神经网络和最优输运之间的联系。

    Apr, 2021

  • 记忆神经微分方程及正交多项式投影

    本研究提出了 PolyODE，一种基于正交多项式投影的神经常微分方程模型，用于学习动态系统，以实现长期记忆和整体表示，优于先前的模型在数据重建和下游预测任务中的性能。

    Mar, 2023

  • 用于非规则时间序列的神经控制微分方程

    本研究介绍了一个新的神经模型：神经控制微分方程模型，解决了利用常规微分方程对时间动态进行建模时无法针对后续观察调整轨迹的问题，并通过实验和理论结果展示其在较多数据集上实现了与其他神经网络模型相当的最佳性能

    May, 2020

  • 连续学习的原始对偶算法

    神经常微分方程（Neural ODEs）在深度学习文献中取得了巨大成功，最近提出了连续版本的 U-net 架构，在图像应用中显示出比离散版本更高的性能，并围绕其性能和鲁棒性提供了理论保证。本文探讨了使用神经 ODE 解决学习逆问题的可能性，尤其是在已知的学习 Primal Dual 算法中，并将其应用于 CT 重建。

    May, 2024

  • 神经常微分方程的鲁棒性

    通过实验和理论探讨，研究了神经常微分方程（ODEs）模型的鲁棒性。发现相比传统的卷积神经网络（CNNs），ODE 网络更加稳健，并提出一种新的时间不变稳态神经 ODE 方法（TisODE）来进一步提高鲁棒性。

    Oct, 2019

  • 分解神经常微分方程

    本文通过进一步开发连续深度神经微分方程模型，以期澄清几种设计选择对其底层动态的影响，进而解密其内部运作方式。

    Feb, 2020

  • 神经常微分方程

    提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。

    Jun, 2018

  • 神经常微分方程用于环境水动力学数据驱动的降阶建模

    本研究探讨使用神经常微分方程作为一种传播基于简化模型的潜在空间动力学的方法，并与两种传统的非侵入性方法进行比较，发现神经常微分方程提供了一个稳定和准确的演化潜在空间动力学的框架，但为了促进其广泛应用于大型系统，需要加速其训练时间。

    Apr, 2021