Sep, 2023

OS-net: 轨道稳定神经网络

PDF
TL;DR介绍了一种名为 OS-net（轨道稳定神经网络）的神经网络架构，专门用于周期动力数据。OS-net 是神经常微分方程 (NODEs) 的一种特殊情况，并充分利用了基于伴随方法的反向传播方法。通过利用常微分方程理论，我们推导出保证结果动力学稳定性的网络权重条件。通过将 OS-net 应用于发现 Rössler 和 Sprott 系统的动力学，这是两种以吸引子周期倍增和混沌行为而闻名的动力学系统，我们证明了我们方法的功效。
os-netneural network architecturesperiodic dynamical dataneural ordinary differential equations (nodes)stability
发现论文，激发创造
  • Ortho-ODE: 增强神经 ODE 对抗攻击的鲁棒性

    该论文探讨神经常微分方程（NODEs）的自然鲁棒性，通过控制 ODE 动力学的 Lipschitz 常数可以显著提高神经网络的鲁棒性，证明 Grownwall 不等式可以被应用到深度学习中。同时验证了 NODEs 对噪声与对抗性攻击的鲁棒性，并实验了自适应和非自适应求解器对节点鲁棒性的影响。

    May, 2023

  • 神经 ODE 的高效认证训练与鲁棒性检验

    提出了一种名为 GAINS 的分析框架，它结合了三个关键思想，基于变量但离散时间步的 ODE 解算器、求解器轨迹的高效图形表示和一种基于该图形表示的新颖抽象算法，可以有效分析高维 NODEs 和提供保证，并将运行时从指数级降至线性对数阶，通过在计算机视觉和时间序列预测问题上的大量评估，证明了该方法的有效性。

    Mar, 2023

  • 神经常微分方程的鲁棒性

    通过实验和理论探讨，研究了神经常微分方程（ODEs）模型的鲁棒性。发现相比传统的卷积神经网络（CNNs），ODE 网络更加稳健，并提出一种新的时间不变稳态神经 ODE 方法（TisODE）来进一步提高鲁棒性。

    Oct, 2019

  • 基于同伦的神经常微分方程训练，用于准确的动态探索

    本研究提出一种利用混沌和数学优化的训练算法，可有效解决 NeuralODEs 实际应用中训练时间长，效果不佳的问题。与传统训练方法相比，该算法在不更改模型架构的情况下，可大幅降低误差值，并能够准确地捕捉真实的长期行为并正确地向未来外推。

    Oct, 2022

  • 稳定化神经 ODE 的对抗鲁棒性可能来源于模糊渐变

    设计了一种基于神经常微分方程的神经网络结构 SONet，其 ODE Block 呈反对称矩阵，证明了其输入输出稳定性，通过普通方法训练，达到了与最先进的对抗训练方法相当的对抗鲁棒性，且不影响模型性能，可能的原因是使用的自适应步长数值 ODE 求解器 DOPRI5 具有梯度遮掩效应。

    Sep, 2020

  • 用于 VLEO 模拟的神经 ODE：介绍 thermoNET 对热层建模

    通过引入名为 thermoNET 的新型神经网络架构，我们能够以较少的可微分计算来表示卫星轨道传播中的热层密度。该网络结构通过 NeuralODE（神经常微分方程）控制卫星动力学，实现完全可微分的变分方程的推导，并能够与先进的数值技术（如基于泰勒级数的数值传播和微分代数技术）进行连接，从而实现网络参数的高效训练。通过纯回归任务和基于观察到的动态的 ODE 敏感性的自适应学习，我们得到了一个灵活而紧凑的热层密度模型，极大地提高了数值传播的效率，并在轨道预测中保持了准确性。

    May, 2024

  • LyaNet：一种用于训练神经 ODE 的 Lyapunov 框架

    本研究提出了一种名为 LyaNet 的方法，基于 Lyapunov loss 公式训练普通微分方程，以鼓励推理动力学快速收敛到正确的预测，实验证明相对于标准神经 ODE 训练，LyaNet 可以提供更好的预测性能，更快的推理动力学收敛和更好的对抗鲁棒性。

    Feb, 2022

  • 神经随机微分方程：用随机噪声稳定神经常微分方程网络

    本研究介绍了一种新型连续神经网络框架 Neural SDE，该框架自然地融合了基于随机噪声注入的各种常用正则化机制，可用于输入干扰和非对抗性扰动的鲁棒建模，并可实现更好的泛化性能和对抗性强化训练。

    Jun, 2019

  • 深度神经网络的稳定结构

    本文提出了一种新颖的前向传播算法，其灵感来源于 ODE 系统，能够克服深度神经网络设计和训练中的挑战，并通过对稳定性和合理性的分析，发展了新的网络架构，以稳定深度学习，且具有竞争力。

    May, 2017

  • 用具有李雅普诺夫稳定平衡点的稳定神经常微分方程对抗对抗攻击

    本文提出 SODEF (一种稳定的神经 ODE)，并验证其对抗攻击防御能力，该方法利用 Lyapunov 稳定的平衡点，通过一些正则化方法强制特征点落在该平衡点的邻域内， SODEF 可以应用于任何神经网络的最终回归层，以增强其稳定性。

    Oct, 2021