在Wasserstein空间中的镜像和预处理梯度下降
应用最优输运及熵正则化计算Wasserstein距离中的Sinkhorn近似算法的梯度,可以提高学习和优化问题的效率,同时通过高阶平滑性,也可以提供统计保证。
May, 2018
本文介绍并分析了一族新的一阶优化算法,它对镜像下降和对偶平均进行了推广和统一,并定义了新的约束优化算法,结合了镜像下降和对偶平均的优点。我们的初步模拟研究表明,在某些情况下,这些新算法显著优于现有方法。
Oct, 2019
本文提出一种应用于概率分布空间优化问题中的变分形式的Wasserstein梯度流方法,该方法利用了内部批量样本更新,实现了良好定义和有意义的目标函数下的梯度流构造,并在合成和真实高维数据集的实验中展示了其性能和可扩展性。
Dec, 2021
本文提出了一种基于粒子的迭代算法——反射变分传输(mirrorVT),应用于概率分布的约束优化问题,特别是在单纯形和欧几里得球约束域上,该算法通过推送粒子对定义在对偶空间上的分布流形执行 Wasserstein 梯度下降,实现了概率分布函数的优化,并且在理论分析和模拟实验中验证了其收敛性和有效性。
Aug, 2022
在训练之前,利用PAC-Bayes和优化算法之间的联系,扩展Wasserstein PAC-Bayes框架,基于损失函数的几何假设提供新的泛化界,并证明了算法输出具有强大的渐近泛化能力。
Apr, 2023
该论文主要介绍了基于Gauss-Seidel类型的块坐标下降算法(BCD-PR)的近端正则化方法,以及提出了一种双重正则化的原始问题的对偶算法,并将其应用于Wasserstein CP-字典学习中,从而实现了优化问题的求解。
Jun, 2023
该论文介绍了一种称为广义Wasserstein梯度下降(GWG)的粒子变分推断方法框架,基于KL散度的广义Wasserstein梯度流,可视为具有更广泛正则化器类的函数梯度方法,展示了GWG具有强大的收敛性保证,通过实验证明了该框架在模拟和真实数据问题上的有效性和高效性。
Oct, 2023
在这项研究中,我们探讨了在概率空间上定义的Sobolev平滑函数的数值逼近的挑战性问题。我们采用三种基于机器学习的方法,通过求解有限个最优传输问题和计算相应的Wasserstein潜势,使用Wasserstein Sobolev空间中的经验风险最小化和Tikhonov正则化,以及通过表征Tikhonov泛函的Euler-Lagrange方程的弱形式来解决这个问题。作为理论贡献,我们对每种解决方法的泛化误差提供了明确且定量的界限。在数值实现中,我们利用适当设计的神经网络作为基函数,经过多种方法的训练,使我们能够在训练后快速评估逼近函数。因此,我们的构造性解决方案在相同准确性下显著提高了评估速度,超过了现有方法数个数量级。
Oct, 2023
Wasserstein gradient boosting is a novel ensemble method that uses Wasserstein gradient to approximate a target probability distribution and produce a distributional estimate of the output-distribution parameter, outperforming existing methods in probabilistic prediction.
May, 2024
研究了定义在Wasserstein空间(概率测度空间)中的一类优化问题,其中目标函数沿广义测地线是非凸函数。当正则化项为负熵时,优化问题转化为一个采样问题,在概率测度(优化变量)和目标概率测度之间最小化Kullback-Leibler散度,其中概率密度的对数是一个非凸函数。在几个非凸(可能非光滑)情况下,通过一种新的半正向-反向Euler方案,得出了多个收敛性洞察。值得注意的是,这种半正向-反向Euler方案只是正向-反向Euler方案的轻微修改,在我们非常普遍的非测地线凸设置中,正向-反向Euler方案的收敛性 -- 这是我们所知道的 -- 仍然未知。
Jun, 2024