神经随机微分方程作为无限维生成对抗网络
本研究介绍了一种新型连续神经网络框架 Neural SDE,该框架自然地融合了基于随机噪声注入的各种常用正则化机制,可用于输入干扰和非对抗性扰动的鲁棒建模,并可实现更好的泛化性能和对抗性强化训练。
Jun, 2019
本文介绍了利用可逆且代数上可逆的 Heun 方法以及优化的布朗运动采样技术,加速求解反向 SDE 以训练神经 SDE 模型,并提出了用于 GAN 的训练技巧,实验表明我们的算法在速度和预测效果上超过了现有技术。
May, 2021
在处理真实世界的不规则时间序列数据中,由于不连续的采样间隔和缺失值,神经随机微分方程(Neural SDEs)的良好性能依赖于漂移和扩散函数的巧妙选择,本研究通过提出三个稳定的 Neural SDE 类别: Langevin 型 SDE、线性噪声 SDE 和几何 SDE,并通过广泛的实验验证了这些方法在分布转移和不同缺失率下的鲁棒性,展示了该方法在处理真实世界不规则时间序列数据中的有效性。
Feb, 2024
本文提出了一种使用神经随机微分方程学习控制动力学模型的框架和算法,能够构建模型预测控制算法以及模型基的增强学习领域中的仿真器,在模拟机器人系统中得到良好的应用。
Jun, 2023
我们提出了一种新颖的模型,即图神经随机微分方程(Graph Neural SDEs)。此技术通过使用布朗运动将随机性嵌入数据表示,提升了图神经常微分方程(Graph Neural ODEs),允许评估预测的不确定性,尤其在置信度预测方面超过了常规模型如图卷积网络和图神经常微分方程,使其在处理静态和时空上下文中的超出分布检测方面更加优越。
Aug, 2023
提出一种基于神经随机微分方程的时间序列变点检测算法,该算法使用生成对抗网络框架下的神经随机微分方程模型,通过 GAN 鉴别器的输出在前向传递中检测变点,并通过交替更新来学习未知的变点和不同变点对应的神经随机微分方程模型的参数。结果表明,该方法在合成和实际数据集上的性能比经典变点检测基准、标准 GAN-based 神经随机微分方程模型和其他深度生成模型更好。
Dec, 2023
本文研究了深度潜变高斯模型中的神经 SDEs,并采用随机流理论基于维纳空间开发出一种变分推理框架,利用黑盒 SDE 求解器和自动微分进行端到端推理。
May, 2019
研究中介绍了一种新型 PI-GANs 来解决基于有限数量的分散测量数据的前向、反向和混合随机问题,并将物理规律通过自动微分编码到 GANs 的架构中,采用 Wasserstein GANs 进行稳定训练。此外,研究还使用了深度神经网络来进行生成和鉴别,表明了该方法在解决高维随机微分方程问题上的准确性和有效性。
Nov, 2018
本文提出了一种结合神经网络和基于随机微分方程的经典风险模型的模型 —— 神经 SDE 模型,该模型可以根据市场数据进行一致性校准,并用于模拟市场场景以评估风险和对冲策略。
Jul, 2020
本文提出了一种基于随机微分方程的得分模型生成方法,通过缓慢注入噪声将复杂数据分布平滑地转换为已知的先验分布,并通过缓慢地消除噪声将先验分布转换回数据分布,同时利用基于神经网络的得分生成建模技术可以精确估计这些得分,并使用数值微分方程求解器生成样本。
Nov, 2020