自注意力机制下的ODE鲁棒性数值求解器
通过实验和理论探讨，研究了神经常微分方程（ODEs）模型的鲁棒性。发现相比传统的卷积神经网络（CNNs），ODE网络更加稳健，并提出一种新的时间不变稳态神经ODE方法（TisODE）来进一步提高鲁棒性。
Oct, 2019
本文提出了一种名为SA-PINNs的自适应训练方法，通过使用可训练的自适应权重和基于高斯过程回归的连续权重映射，使神经网络学习重点区域并获得了很好的性能，在多项线性和非线性基准测试问题中表现出色，是当前最先进的PINN算法之一。
Sep, 2020
本文提出了一种基于正则化的方法，该方法利用自适应微分方程求解器的内部代价启发式和离散相邻灵敏度来引导训练过程，以学习更易于求解的神经微分方程，并在不增加训练成本的情况下加速预测，该方法可应用于常微分方程和神经随机微分方程。
May, 2021
本研究提出了一种新的方法：关注对偶共同进化节点(ACE-NODE)，它是由两个节点构成的，其中一个为下游的机器学习任务提供注意力，另一个为主要节点提供注意力，支持成对注意力和元素注意力。在实验中，我们的方法在几乎所有情况下均以非微不足道的优势优于现有的基于NODE和非NODE的基线。
May, 2021
通过使用内部成本启发式算法，本文开发了两种采样策略来减少函数评估数量并加速预测，与全局正则化相比，我们的方法在普通微分方程和随机微分方程中具有相似的性能而不会影响实施的灵活性。
Mar, 2023
提出了一种名为GAINS的分析框架，它结合了三个关键思想，基于变量但离散时间步的ODE解算器、求解器轨迹的高效图形表示和一种基于该图形表示的新颖抽象算法，可以有效分析高维NODEs和提供保证，并将运行时从指数级降至线性对数阶，通过在计算机视觉和时间序列预测问题上的大量评估，证明了该方法的有效性。
Mar, 2023
该论文探讨神经常微分方程（NODEs）的自然鲁棒性，通过控制ODE动力学的Lipschitz常数可以显著提高神经网络的鲁棒性，证明Grownwall不等式可以被应用到深度学习中。同时验证了NODEs对噪声与对抗性攻击的鲁棒性，并实验了自适应和非自适应求解器对节点鲁棒性的影响。
May, 2023
提出一种名为easy attention的新型注意机制，用于改进用于预测混沌系统时间动态的Transformer神经网络，通过自注意力机制直接将注意力得分作为可学习参数，具有更强的鲁棒性和较低的复杂性，适用于重建和预测混沌系统的时间动态。
Aug, 2023
利用神经ODE通过使用连续深度神经网络参数化微分方程并使用数值ODE积分器来解决，相较于具有离散隐藏层序列的模型，这些模型提供了恒定的内存成本，其中内存成本随隐藏层数的增加呈线性增长。另外，神经ODE的其他优点还包括对输入评估方法的可调适性和选择数值精度或快速训练的灵活性。然而，尽管具有所有这些优点，它仍然存在一些限制。我们将ODE积分器（也称为ODE求解器）确定为链条中最薄弱的环节，因为它可能存在稳定性、一致性和收敛性（CCS）问题，可能在收敛速度较慢或根本不收敛。我们提出了一种基于Nesterov's加速梯度（NAG）的一阶ODE求解器，经证实可以调整以满足CCS条件。我们通过在监督分类、密度估计和时间序列建模三个不同任务中训练更快，同时实现更好或相当的性能，来经验性地证明了我们的方法的有效性。
Dec, 2023