Mar, 2024

使用神经网络对受约束系统进行建模的两阶段训练方法

PDF
TL;DR本文详细描述了一种简单、有效且无需惩罚参数的两阶段训练方法，用于模型约束系统。通过将约束优化问题重写为解决两个无约束子问题的两阶段，实现了找到可行神经网络参数和最优神经网络参数。实验证明，该方法可以产生满足约束的模型，并提升预测性能，确保关键系统属性的合规性并减少数据需求量。此外，我们还展示了该方法改善了求解最优解的收敛性和解释可行的神经常微分方程模型的能力。我们的两阶段训练方法适用于任何神经网络架构。
constrained optimization problemsneural ordinary differential equationstraining methodfeasible regionpredictive performance
发现论文，激发创造
  • 一种自适应惩罚方法，将先验知识约束融入神经 ODE

    本文提出了一种自适应惩罚算法，用于在神经常微分方程中模拟受限自然系统，并通过在人口增长、化学反应演化和阻尼谐振子运动中对其进行建模进行验证，结果表明自适应惩罚算法在模拟受限自然系统中的神经常微分方程上具有更好的有效性和可靠性。

    Jul, 2023

  • 从数据中基于神经网络的方程发现：约束还是无约束？

    通过解决受约束的优化问题并使用类似于物理 - Informed 神经网络（PINN）的中间状态表示，我们将 PDE 表示为神经网络，以发现 PDE。我们使用惩罚方法和广泛使用的约束 - 区域障碍方法解决了此约束优化问题，并在数值示例上比较了这些方法。我们对 Burgers' 和 Korteweg-De Vreis 方程的结果表明，后一种约束方法在更高的噪声水平或更少的空间插值点上表现优于惩罚方法。对于这两种方法，我们使用传统方法（如有限差分方法）解决这些发现的神经网络 PDE，而不是依赖于自动微分的 PINNs 类型方法。我们简要介绍其他一些小但至关重要的实施细节。

    May, 2024

  • 基于同伦的神经常微分方程训练，用于准确的动态探索

    本研究提出一种利用混沌和数学优化的训练算法，可有效解决 NeuralODEs 实际应用中训练时间长，效果不佳的问题。与传统训练方法相比，该算法在不更改模型架构的情况下，可大幅降低误差值，并能够准确地捕捉真实的长期行为并正确地向未来外推。

    Oct, 2022

  • 如何训练您的神经 ODE：雅可比和动力正则化的世界

    本文提出了一种有效的组合方法，采用最优输运和稳定性正则化，使神经 ODE 倾向于更简单的动态系统，可以将训练时间显著减少，并且不会损失性能，从而将神经 ODE 应用于大规模应用。

    Feb, 2020

  • 关于稳定性、一致性和更快收敛的调整神经 ODE

    利用神经 ODE 通过使用连续深度神经网络参数化微分方程并使用数值 ODE 积分器来解决，相较于具有离散隐藏层序列的模型，这些模型提供了恒定的内存成本，其中内存成本随隐藏层数的增加呈线性增长。另外，神经 ODE 的其他优点还包括对输入评估方法的可调适性和选择数值精度或快速训练的灵活性。然而，尽管具有所有这些优点，它仍然存在一些限制。我们将 ODE 积分器（也称为 ODE 求解器）确定为链条中最薄弱的环节，因为它可能存在稳定性、一致性和收敛性（CCS）问题，可能在收敛速度较慢或根本不收敛。我们提出了一种基于 Nesterov's 加速梯度（NAG）的一阶 ODE 求解器，经证实可以调整以满足 CCS 条件。我们通过在监督分类、密度估计和时间序列建模三个不同任务中训练更快，同时实现更好或相当的性能，来经验性地证明了我们的方法的有效性。

    Dec, 2023

  • 连续学习的原始对偶算法

    神经常微分方程（Neural ODEs）在深度学习文献中取得了巨大成功，最近提出了连续版本的 U-net 架构，在图像应用中显示出比离散版本更高的性能，并围绕其性能和鲁棒性提供了理论保证。本文探讨了使用神经 ODE 解决学习逆问题的可能性，尤其是在已知的学习 Primal Dual 算法中，并将其应用于 CT 重建。

    May, 2024

  • ANODEV2: 一种耦合的神经常微分方程演化框架

    ANODEV2 是 Neural ODEs 的延伸，提出了基于耦合 ODE 的公式，使得神经网络参数的演化可以适应时间步长的更通用离散化方案。在 PyTorch 中实现了这个思路的耦合反应扩散对流版本，并在 CIFAR-10 上对多个模型进行了测试，结果显示这种耦合 ODE-based 的框架可以训练，而且相对于 baseline 模型和最近提出的 Neural ODE 方法可以获得更高的精度。

    Jun, 2019

  • 神经 ODE 的高效认证训练与鲁棒性检验

    提出了一种名为 GAINS 的分析框架，它结合了三个关键思想，基于变量但离散时间步的 ODE 解算器、求解器轨迹的高效图形表示和一种基于该图形表示的新颖抽象算法，可以有效分析高维 NODEs 和提供保证，并将运行时从指数级降至线性对数阶，通过在计算机视觉和时间序列预测问题上的大量评估，证明了该方法的有效性。

    Mar, 2023

  • 一首颂词给一阶常微分方程

    提出了一种新的神经 ODE 算法范例，称为 ODEtoODE，其中主要流的时间相关参数随着正交群 O（d）上的矩阵流发展。这种嵌套的两种流系统，其中参数流限制在紧致流形上，提供稳定性和有效性训练，并能解决梯度消失 - 爆炸问题，从而导致更好的下游模型和进化策略中训练增强学习策略和在监督学习设置中，通过与以前的 SOTA 基线进行比较。我们提供了独立于网络深度的强收敛结果，支持我们的经验研究。我们的结果表明，深度神经网络理论与紧凑流形上的矩阵流领域之间存在着有趣的联系。

    Jun, 2020

  • 学习可微分的处理硬约束系统的求解器

    提出一种实用的方法，通过神经网络来精确实现偏微分方程控制，利用可微分优化和隐式函数定理来有效实施物理约束，模型能够在域内提供准确满足期望物理约束的连续解。

    Jul, 2022