Feb, 2022

LyaNet：一种用于训练神经 ODE 的 Lyapunov 框架

PDF
TL;DR本研究提出了一种名为 LyaNet 的方法，基于 Lyapunov loss 公式训练普通微分方程，以鼓励推理动力学快速收敛到正确的预测，实验证明相对于标准神经 ODE 训练，LyaNet 可以提供更好的预测性能，更快的推理动力学收敛和更好的对抗鲁棒性。
ordinary differential equationslyapunov conditiontrainingneural odeadversarial robustness
发现论文，激发创造
  • 用具有李雅普诺夫稳定平衡点的稳定神经常微分方程对抗对抗攻击

    本文提出 SODEF (一种稳定的神经 ODE)，并验证其对抗攻击防御能力，该方法利用 Lyapunov 稳定的平衡点，通过一些正则化方法强制特征点落在该平衡点的邻域内， SODEF 可以应用于任何神经网络的最终回归层，以增强其稳定性。

    Oct, 2021

  • 一种数据驱动的微分方程计算加速机器学习框架

    提出了一种机器学习框架，将时间依赖的 ODE 和 PDE 重新表示为人工神经网络，经过离线训练调整参数，通过数值实验展示了相比标准数值方法更高的计算效率。

    Jul, 2018

  • 神经李亚普诺夫控制

    本研究提出了一种新的方法来学习控制策略和非线性控制问题的神经网络李雅普诺夫函数，具有稳定性的可证明保障。该方法包括一个学习者和一个伪造器，通过快速引导学习者寻找控制和李雅普诺夫函数并寻找反例来终止程序，以保证控制的非线性系统的稳定性。该方法极大地简化了李雅普诺夫控制设计的过程，提供了端到端的正确性保证，并且可以获得比现有方法如 LQR 和 SOS/SDP 更大的吸引域范围。我们进行了实验，展示了新方法如何获得高质量的解决方案以应对具挑战性的控制问题。

    May, 2020

  • 基于同伦的神经常微分方程训练，用于准确的动态探索

    本研究提出一种利用混沌和数学优化的训练算法，可有效解决 NeuralODEs 实际应用中训练时间长，效果不佳的问题。与传统训练方法相比，该算法在不更改模型架构的情况下，可大幅降低误差值，并能够准确地捕捉真实的长期行为并正确地向未来外推。

    Oct, 2022

  • 通过神经 ODEs 和控制理论揭示 LLM 机制

    此研究提出了一种新颖的方法，利用神经常微分方程（Neural ODEs）揭示大型语言模型（LLMs）中输入和输出之间错综复杂的关系，并采用稳健控制来微调输出以满足预定义的标准。该方法的核心是将 LLM 的输入和输出转换为低维的潜在空间，从而便于详细研究 LLM 内的信息处理路径。神经常微分方程在这一研究中发挥关键作用，提供了一个动态模型，捕捉了 LLM 中数据的连续演化。此外，稳健控制机制被应用于策略性地调整模型的输出，确保其不仅保持高质量和可靠性，还符合特定的性能标准。神经常微分方程和稳健控制的融合在 LLM 可解释性方面代表了重大进展，提供了一个综合框架，阐明了这些复杂模型以前不透明的机制。我们的实证结果验证了这种整合方法的有效性，为可解释 AI 领域做出了重大贡献，将先进的机器学习技术与对 AI 输出的透明度和控制的重要需求相结合。

    Jun, 2024

  • 学习稳定而被动的神经微分方程

    本文介绍了一种新颖的神经微分方程类，其在内在上是李雅普诺夫稳定、指数稳定或被动的。我们将最近提出的 Polyak Lojasiewicz 网络 (PLNet) 作为李雅普诺夫函数，并将向量场参数化为李雅普诺夫函数的下降方向。所得到的模型与普通 Hamilton 动力学具有相同结构，其中 Hamiltonian 由二次函数限制在下限和上限之间。此外，它对于已知或可学习的平衡点也是正定的。我们通过在阻尼双摆系统上展示了该模型的有效性。

    Apr, 2024

  • 局部正则化神经微分方程：有些黑盒应该保持关闭！

    通过使用内部成本启发式算法，本文开发了两种采样策略来减少函数评估数量并加速预测，与全局正则化相比，我们的方法在普通微分方程和随机微分方程中具有相似的性能而不会影响实施的灵活性。

    Mar, 2023

  • 广义拉格朗日神经网络

    基于广义拉格朗日方程的变形不仅提高了预测准确性，而且在非保守系统中保证了拉格朗日表示，从而证明了广义拉格朗日神经网络（GLNNs）的优越性。

    Jan, 2024

  • 如何训练您的神经 ODE：雅可比和动力正则化的世界

    本文提出了一种有效的组合方法，采用最优输运和稳定性正则化，使神经 ODE 倾向于更简单的动态系统，可以将训练时间显著减少，并且不会损失性能，从而将神经 ODE 应用于大规模应用。

    Feb, 2020

  • 一个极小极大优化控制方法用于稳健神经 ODE

    本文基于鲁棒控制的视角讨论神经 ODE 的对抗训练，引入了一种替代经验风险最小化的方法，通过可靠处理输入扰动来实现可靠结果。将深度神经网络解释为控制系统离散化，利用控制理论的强大工具来开发和理解机器学习。我们将带有扰动数据的对抗性训练描述为极小极大最优控制问题，并推导出 Pontryagin's Maximum Principle 形式的一阶最优性条件。我们提供了鲁棒训练的新解释，提出了一种替代加权技术，并在低维分类任务上进行了测试。

    Oct, 2023