- 从 Wasserstein 梯度流的角度重新思考数值制表数据补全的扩散模型
在数值表格数据集领域,我们引入了一种被称为 KnewImp 的新的原则方法,它通过 Wasserstein 梯度流框架以及重现内核希尔伯特空间,解决了扩散模型在缺失数据插补中存在的不准确插补和训练困难等问题,并通过广泛实验证明了该方法明显优 - 最优概率测度分解的 Wasserstein 梯度流
我们研究无限维优化问题,即查找将概率测度分解为 K 个概率子测度以最小化受聚类和用户分组应用启发的特定损失函数。我们分析了最优子测度支撑集的结构,并介绍了基于 Wasserstein 梯度流的算法,证明了它们的收敛性。数值结果说明了我们算法 - 神经梯度下降上升的均场分析:应用于功能条件矩方程
通过研究定义在无限维函数类上的极小极大优化问题,我们限定函数在过度参数化的两层神经网络类上,并研究(i)梯度下降 - 上升算法的收敛性和(ii)神经网络的表示学习。
- 可扩展的 Wasserstein 梯度流用于非平衡最优传输的生成建模
本文提出了一种可扩展的基于 Wasserstein 梯度流的生成模型,称为 Semi-dual JKO (S-JKO),通过使用 JKO 步骤的半对偶形式,将训练复杂度降低至 O (K),实验证明该模型在 CIFAR-10 和 CelebA - 优化高斯混合策略的 Wasserstein 梯度流
该研究提出了一种新的机器人策略优化方法,将策略更新视为一个最优输运问题,并利用高斯混合模型和 Riemannian 优化方法来优化机器人的运动策略,该方法在多个机器人任务中表现出更高的成功率和较低的方差。
- 基于得分的生成模型的几何学
该研究从几何角度探讨了基于得分模型的扩散生成模型,证明了加噪声和从噪声生成的正向和反向过程在概率测度空间中是 Wasserstein 梯度流。同时给出了附加传统得分模型的投影步骤的直观几何解决方案,提出了减少采样时间的方法。
- ICML通过分布稳健的记忆演化来提升无任务连续学习
本研究提出了一种基于分布鲁棒优化和 Wasserstein 梯度流的原则性记忆演化框架,用于动态演化内存数据分布,以提高连续学习系统对非平稳数据流的适应性。同时,实验结果表明该方法能够提供更高的鲁棒性和抗干扰性,是一种有效防止遗忘的连续学习 - 均场两人零和游戏的可证收敛准静态动力学
本文研究如何找到混合纳什均衡来解决均场双人零和博弈问题,提出了基于 Wasserstein 梯度流的动态和基于 Langevin 梯度下降的方法,并在不同问题上进行了测试。
- 变分 Wasserstein 梯度流
本文提出一种应用于概率分布空间优化问题中的变分形式的 Wasserstein 梯度流方法,该方法利用了内部批量样本更新,实现了良好定义和有意义的目标函数下的梯度流构造,并在合成和真实高维数据集的实验中展示了其性能和可扩展性。
- 单隐藏层神经网络在均场极限下 softmax 策略梯度的全局最优性
本文主要研究了在无限折扣马尔可夫决策过程下,采用 softmax 策略和非线性函数逼近结合策略梯度算法的策略优化问题。研究了广泛性的单隐藏层神经网络在探索过程中的行为,证明了其在参数空间中的分布也可以确定一阶 Wasserstein 梯度流 - 最大均值差异梯度流
本文构建了最大均值差异(MMD)的 Wasserstein 梯度流并研究了其收敛性质,提出了一个基于梯度注入噪声的方法进行正则化,并给出了其理论和实证证据。该流的实现很简单,因为 MMD 及其梯度均具有简单的封闭形式表达式,可通过样本轻松估 - 通过最优输运改进序列到序列学习
本研究提出了一种基于全局序列级别的指导和最优传输的解决方案来提高序列到序列模型的性能并捕捉长程语义结构,经实验证明该方法在多种 NLP 任务中能够实现一致的改进。
- ICML作为 Wasserstein 梯度流的策略优化
通过将策略优化视为概率度量空间中的 Wasserstein 梯度流,我们在数字化求解相应的离散梯度流时开发了高效算法,通过实验证明了此方法的有效性。
- Wasserstein 梯度流的近似推断
该研究论文介绍了一种基于 Wasserstein 梯度流的扩散过程的新近似推理方法,该方法直接在连续函数空间中计算 Wasserstein 梯度流,并具有可比拟的过滤能力。
- Langevin Monte Carlo 和 JKO splitting
本篇论文探讨基于 Langevin 扩散的算法如何通过 Wasserstein 梯度流的理论和算子分裂方法来解决概率密度函数的两个特定泛函的梯度流,从而得到了一些关于算法收敛性的非渐近性结果。
- 一种扩散的 blob 方法
本研究基于 Wasserstein 梯度流结构和非局部正则化的思想,提出了一种基于数值 blob 方法的确定性粒子方法,用于解决非线性扩散问题,通过数值实验验证了该方法的收敛性和关键定性特性
- MMWasserstein 度量的指数公式
本研究通过开发一类具有更好凸性质的运输度量学来解决 Wasserstein 梯度流研究中的凸性缺乏问题,并使用这些度量学证明了描述 Wasserstein 离散梯度流的 Euler-Lagrange 方程。随后,我们运用这些结果来证明了 W