Wasserstein梯度流的Forward-Euler时间离散可能存在问题
该研究论文介绍了一种基于Wasserstein梯度流的扩散过程的新近似推理方法,该方法直接在连续函数空间中计算Wasserstein梯度流,并具有可比拟的过滤能力。
Jun, 2018
本论文介绍了 Stein Variational Gradient Descent (SVGD) 算法的一种新视角,将 SVGD 视为卡方散度的(核化)梯度流,提出了一种基于目标密度关联的拉普拉斯算子的谱分解实现的替代方法,称为 Laplacian Adjusted Wasserstein Gradient Descent (LAWGD),这种方法表现出强大的收敛保证和良好的实际性能。
Jun, 2020
本文提出一种应用于概率分布空间优化问题中的变分形式的Wasserstein梯度流方法,该方法利用了内部批量样本更新,实现了良好定义和有意义的目标函数下的梯度流构造,并在合成和真实高维数据集的实验中展示了其性能和可扩展性。
Dec, 2021
该论文介绍了一种称为广义Wasserstein梯度下降(GWG)的粒子变分推断方法框架,基于KL散度的广义Wasserstein梯度流,可视为具有更广泛正则化器类的函数梯度方法,展示了GWG具有强大的收敛性保证,通过实验证明了该框架在模拟和真实数据问题上的有效性和高效性。
Oct, 2023
本文介绍了变分推断和Wasserstein梯度流之间的联系,通过将Bures-Wasserstein梯度流转化为欧几里德梯度流,并使用路径导数梯度估计器生成梯度场,同时提供了一种新的梯度估计方法适用于$f$-divergences的拓展。
Oct, 2023
使用核均值嵌入展示了正则化可以重写为某个与核K相关的再生核希尔伯特空间中函数的莫罗包络,并利用相关结果证明了MMD-正则化的f-散度及其梯度的性质,进而分析了以MMD-正则化的f-散度为基础的Wasserstein梯度流现象,并提供了Tsallis-α散度的概念验证数值例子。
Feb, 2024
研究了定义在Wasserstein空间(概率测度空间)中的一类优化问题,其中目标函数沿广义测地线是非凸函数。当正则化项为负熵时,优化问题转化为一个采样问题,在概率测度(优化变量)和目标概率测度之间最小化Kullback-Leibler散度,其中概率密度的对数是一个非凸函数。在几个非凸(可能非光滑)情况下,通过一种新的半正向-反向Euler方案,得出了多个收敛性洞察。值得注意的是,这种半正向-反向Euler方案只是正向-反向Euler方案的轻微修改,在我们非常普遍的非测地线凸设置中,正向-反向Euler方案的收敛性 -- 这是我们所知道的 -- 仍然未知。
Jun, 2024
本文针对斯坦变分梯度下降(SVGD)算法在核斯坦误差(KSD)和Wasserstein-2度量下的有限粒子收敛速率问题,提出了新的见解。研究表明,相对熵的时间导数可以分解为与N成正比的主要负部分及较小的正部分,从而获得收敛速率为$1/\sqrt{N}$,较之前研究显著提高。此外,该方法在维度上也有线性增长,从而进一步推动了Wasserstein-2的收敛性研究。
Sep, 2024
本文解决了包容性KL推断的数学分析工具缺乏的问题,提出了一种基于偏微分方程分析的通用近似包容性KL推断范式。通过此视角,多个已有的学习算法可以被统一视为包容性KL推断的特例,最重要的发现是为包容性KL散度的最小化提供了Wasserstein-Fisher-Rao梯度流的理论基础。
Oct, 2024