- ImageFlowNet: 不规则采样的长期医学图像预测多尺度疾病进展轨迹
通过使用神经 ODE 和 SDE 模拟疾病进展的图像流场,ImageFlowNet 框架能够学习多尺度联合表示空间,并通过结合患者群体来传递信息,从而在长期医学图像数据集中准确预测疾病进展。
- 关于在训练 ResNets 中交叉熵损失的耗散性
从最优控制的角度来看,研究了 ResNets 和神经 ODE 的训练方法,并提出了针对分类问题的一种耗散式训练方法,在阶段成本中引入交叉熵的一种变体作为正则化项。基于训练的耗散式方法,证明了经过训练的 ResNet 具有转矩现象。通过对两个 - 连续学习的原始对偶算法
神经常微分方程(Neural ODEs)在深度学习文献中取得了巨大成功,最近提出了连续版本的 U-net 架构,在图像应用中显示出比离散版本更高的性能,并围绕其性能和鲁棒性提供了理论保证。本文探讨了使用神经 ODE 解决学习逆问题的可能性, - 缩小差距:通过神经 ODE 优化引导和控制网络
改进了导航和控制网络(G&CNETs)的准确性,通过利用包含在常微分方程(ODE)右侧的神经网络来描述空间飞行器动力学,并使用变分方程计算 ODE 对网络参数的敏感性来更新 G&CNET 参数,最终证明了该方法对轨道传输和着陆问题的准确性有 - 神经常微分方程在托卡马克等离子体动力学分析中的应用
通过神经常微分方程(Neural ODEs)模拟托卡马克复杂的能量传递过程,从 DIII-D 托卡马克实验数据中精确建模电子和离子间的能量相互作用,探索提升托卡马克性能的深度学习方法。
- ContiFormer:用于不规则时间序列建模的连续时间 Transformer
ContiFormer 是一种扩展了 Transformer 关系建模到连续时间领域的模型,将 Neural ODEs 的连续动态建模能力与 Transformer 的注意机制相结合,具有优越的建模能力和对于不规则时间序列数据的预测性能。
- ICML深度连续网络
深度连续网络(DCNs)结合了空间连续滤波器和神经 ODE 的连续深度框架,能够学习滤波器的空间支持以及特征图的持续演化,与生物模型密切相关。DCNs 在标准图像分类和重构问题中具有多功能且广泛适用,可以提高参数和数据效率,并允许元参数化。 - 通过神经 ODE 在李群上对 SE (3) 进行最优潜力塑形
基于有限维李群的动态系统优化的新方法,将动态系统重新表述为所谓的神经常微分方程 (neural ODEs),并在李群上制定优化问题,提出了一种梯度下降优化算法来解决数值优化问题。
- 利用神经 ODE 构建可解释的主曲线
研究高维数据集通常依赖于保留原始空间的局部几何的低维投影。本研究中,我们开发了一个能够动态地表征空间的框架,即主导流动。主导流动利用神经 ODEs 定义,通过将粒子的轨迹指导沿空间移动,使其轨迹类似于数据集的主曲线。我们证明了我们的框架可以 - 一个极小极大优化控制方法用于稳健神经 ODE
本文基于鲁棒控制的视角讨论神经 ODE 的对抗训练,引入了一种替代经验风险最小化的方法,通过可靠处理输入扰动来实现可靠结果。将深度神经网络解释为控制系统离散化,利用控制理论的强大工具来开发和理解机器学习。我们将带有扰动数据的对抗性训练描述为 - 图像、3D 动画和视频的条件生成建模
通过探索条件生成模型的新的形式和在图像、3D 动画和视频中的创新应用,本论文试图在计算机视觉领域推动创新。我们的研究聚焦于提供噪声和视觉数据的可逆变换的体系结构,并应用编码器 - 解码器结构进行生成任务和 3D 内容操作。在所有情况下,我们 - 摊销网络干预以引导兴奋性的点过程
我们通过神经 ODE 来捕捉网络激发点过程随着网络拓扑的时变变化的演变,能够灵活适应先验知识和约束条件的基于模型的强化学习,设计了 pooling 最佳策略并确保一个置换等效属性的 ANI 框架,实现了知识的高效转移和共享,从而解决了大规模 - 用高斯 - 勒让德积分快速训练神经 ODE
通过使用 Gauß-Legendre 积分法加速伴随方法,我们提出了一种加速神经 ODE 训练的新方法,这对大型模型尤为有效,同时也为训练基于 SDE 的模型提供了新的方法。
- 神经 Chronos ODE:揭示时间序列数据中的时间模式并预测未来和过去趋势
本文介绍了 Neural Chronos Ordinary Differential Equations 及其与 Recurret Neural Networks 结合的方法来实现对系统时间上正反向的预测和长时间序列的预测与填补。实验结果证 - 神经 ODE 训练中的自动微分校正
本文通过理论分析和实验结果,发现使用高阶近似方法如线性多步法等自动微分更新神经 ODE 时,常常会产生不收敛的人工震荡。作者针对此问题,提出了一种有效的后处理技术,来消除这些震荡,修正梯度计算,从而保证了神经 ODE 更新的正确性。
- 一种用分数图拉普拉斯算子解决过度平滑问题的方法
该文研究了图神经网络中过度平滑问题,并针对无向图将其概念推广至有向图,通过引入指向对称规范化拉普拉斯算子并提出分数图拉普拉斯神经 ODE 框架,实现了在节点间传播信息的同时缓解了过度平滑问题,证明了该方法的有效性并在合成和真实世界的有向无向 - IVP-VAE: 利用初值问题求解器对 EHR 时间序列模型化
本文提出了一种新方法,它使用连续过程建模时间序列,并通过初值问题求解器直接近似状态演化,以消除循环计算需求,使多状态并行演变,并通过 IVP 求解器融合编码器和解码器,实现更快收敛速度,并在三个真实数据集上进行实验,获得与其他连续时间对应的 - 学习鲁棒的深度平衡模型
本篇论文中,我们提出了一种新的深度学习模型,称为 LyaDEQ,通过 Lyapunov 稳定性理论,确保了 DEQ 模型的稳定性,并可以在面对初始扰动时保持其鲁棒性。我们对这种模型进行了评估,并在针对不同数据集的对抗攻击中展示了其在对抗防御 - ICLR记忆神经微分方程及正交多项式投影
本研究提出了 PolyODE,一种基于正交多项式投影的神经常微分方程模型,用于学习动态系统,以实现长期记忆和整体表示,优于先前的模型在数据重建和下游预测任务中的性能。
- 时间权重
通过使用具有交互动态的模型来刻画神经网络中的时变权重,我们使用连续动力学和对时间的依赖性的神经 ODE 将时间权重给模型增加,以此来更好地对不规则、稀疏的时间序列数据集进行建模,从而实现更好的性能、更小的模型,和更高的数据效率。