基于 McKean-Vlasov 类型的无限维非线性随机微分方程,我们提出了一个扩散过程粒子系统,通过链式网络结构耦合。它具有 (i) 局部链交互和 (ii) 平均场交互。由于局部链交互,混沌的传播不一定成立。此外,我们展示了平均场作用的存在或不存在的二分法,并讨论了从单个组分过程的观察中检测其存在的问题。
May, 2018
我们开发了一种新的因果推断方法,通过学习随机微分方程 (SDEs) 的稳定密度来模拟系统在干预下的行为,而不需要因果图的结构方程,并且无需考虑无环性的常见假设。我们表明,在若干情况下,这些稳定扩散模型对于变量上的未观测干预进行了推广,通常比传统方法更好。我们的推断方法基于一个新的理论结果,通过在再生核希尔伯特空间中表达扩散的生成器上的稳定条件。由此产生的核函数离稳定性的偏差 (KDS) 是一个独立感兴趣的目标函数。
Oct, 2023
我们研究了最小二乘问题的连续时间随机梯度下降(SGD)模型的动力学。我们通过分析随机微分方程 (SDE),在训练损失(有限样本)或总体损失(在线设置)的情况下建模 SGD 来追求 Li 等人 (2019) 的研究成果。该动力学的一个关键特征是无论样本大小如何,都存在与数据完美插值器。在这两种情况下,我们提供了收敛到(可能退化的)稳态分布的精确非渐近速率。此外,我们描述了渐近分布,给出了其均值、与之偏差的估计,并证明了与步长大小有关的重尾现象的出现。我们还呈现了支持我们发现的数值模拟结果。
Jul, 2024
将分布依赖显式地包含在随机微分方程的参数化中对于建模具有交互性的时间数据是有效的,并在维持标准 Itô-SDE 的优越性能的同时,通过 MV-SDE 关联的更丰富的概率流类来进行时间数据的建模。
Apr, 2024
本文提出了一种名为神经跳跃随机微分方程的数据驱动方法,用于学习连续和离散动态行为,即同时具有流动和跳跃的混合系统,并在几个合成和真实世界的标记点过程数据集上展示了其预测能力。
May, 2019
该篇论文研究了使用线性模型描述随机动态的网络 (有向图) 的学习问题,并证明了在较高采样率的情况下,利用 $\ell_1$- 正则化最小二乘算法可以高效地推断出稀疏网络结构。
Nov, 2010
使用高斯过程作为灵活的模型并使用高斯过程回归直接从稠密数据集中计算估计,开发出一种非参数方法来估计随机微分方程组中的漂移和扩散函数,并开发了一种近似的期望最大化算法来处理稀疏观察之间的未观察到的潜在动态。
Feb, 2017
本研究探讨随机优化中梯度下降算法(尤其是加速梯度下降和随机梯度下降)的渐近行为,并建立了渐近分析的计算和统计统一框架。基于时间依赖奥恩斯坦 - 乌伦贝克过程等建立梯度流中心极限定理,最终识别学习率、批处理大小、梯度协方差和黑塞矩阵等四个因素,以解决非凸优化问题。
Nov, 2017
通过对随机微分方程(SDEs)进行干预所产生的后干预 SDE 的定义,我们给出了对 SDEs 的因果解释,并证明在 Lipschitz 条件下,后干预 SDE 的解等于基于原始 SDE 的 Euler 方案的后干预结构方程模型的概率均匀极限。 当 SDE 的驱动噪声是 Lévy 过程时,我们证明后干预分布可以从 SDE 的生成器中识别出来。
Mar, 2013
提出了一种基于得分的图生成模型,采用连续时间框架下的新图扩散过程,通过随机微分方程系统对节点和边缘进行联合分布建模,并提出了适用于该过程的新颖得分匹配目标,通过求解反向扩散过程的方程系统高效采样。通过对多个数据集的验证,该方法在生成具有挑战性的现实世界图形时获得了优异的性能,并能够生成符合 训练分布的分子,表明其对于节点 - 边缘关系的建模具有有效性。
Feb, 2022