- 连续时间数字孪生与模拟记忆电阻神经常微分方程求解器
通过引入一个差分方程解为数字孪生体,本研究实现了捕捉连续时间动态并利用无限深度模型对复杂系统建模的能力,并通过模拟实验证明了其在速度和能效方面相对于传统数字方法的显著性能提升,从而加快了数字孪生体的发展速度,为工业 4.0 的需求提供了高效 - ContiFormer:用于不规则时间序列建模的连续时间 Transformer
ContiFormer 是一种扩展了 Transformer 关系建模到连续时间领域的模型,将 Neural ODEs 的连续动态建模能力与 Transformer 的注意机制相结合,具有优越的建模能力和对于不规则时间序列数据的预测性能。
- AAAI建模连续时间动态的带符号图神经常微分方程
我们提出了一种新颖的方法:带有符号图神经常微分方程,巧妙地解决了误捕获符号信息的局限性。我们的方法在动态建模中显示出显著的性能提升,通过物理学、生物学领域的三个复杂动态场景以及四个真实世界交通数据集的验证结果,明显优于三种基准模型。
- Sinkhorn Flow: Sinkhorn 算法的连续时间框架解读与推广
机器学习中的熵正则最优传输问题可以通过 Sinkhorn 算法进行求解,而该研究介绍了 Sinkhorn 算法的连续时间模拟以及其在噪声和偏差容忍性方面的改进,同时与机器学习和数学领域中其他动态方法提供了统一的视角。
- 连续时间模型驱动强化学习中的高效探索
我们介绍了一个基于模型的强化学习算法,使用非线性常微分方程来表示连续时间动力学。我们使用校准良好的概率模型捕捉认识不确定性,并利用乐观原则进行探索。我们的分析表明,在连续时间下,测量选择策略 (MSS) 的重要性显现出来,因为我们不仅需要决 - 连续时间高斯过程动力学的精确推理
通过使用高阶数值积分器以及多步和泰勒积分器,我们提出了一种直接推理连续时间动力学的方法,并通过推导出的采样方案和推理方案,从学习到的后验中得到一致的动力学函数,从而实现准确的连续时间系统表示。
- 通过解非线性方程训练生成对抗网络
通过研究由 GAN 训练引起的连续时间动力学,我们验证了基于 ODE 求解器的方法(如 Runge-Kutta),结合控制积分误差的正则化器,可以稳定训练 GAN,这一方法胜过先前的一些强基线方法。
- 用于不规则采样时间序列的潜在 ODE
本文提出了一种名为 ODE-RNNs 的模型,可以对非匀齐时间间隔的时间序列进行建模,并通过实验表明,这种基于 ODE 的模型在处理不规则抽样数据时比基于 RNN 的模型表现更优。
- 关于 Nesterov 加速的动态系统视角
利用动力学系统框架理解 Nesterov 加速梯度方法的原理及机制,探究了半隐式欧拉积分方案离散化普通微分方程的加速效应,分析发现曲率依赖阻尼项是实现加速的关键。同时,建立了离散化和连续时间动态之间的联系。
- 关于辛优化
本研究提出了一种基于 Hamiltonian dynamical systems 和 symplectic integration 的框架,用于将加速梯度方法中连续时间动态转换成离散时间算法,从而实现 oracle 下界,这一框架将加速梯度