本研究提出了一种新的算法来估计与 Sinkhorn 散度相关的任意概率分布的重心,该方法基于 Frank-Wolfe 优化策略,通过逐步填充支持而不需要任何预分配,我们在离散和连续分布方面考虑,证明了所提出算法的收敛速度。
May, 2019
通过将 Kullback-Leibler divergence 应用于 mirror map 和目标函数中,我们发现 Sinkhorn 算法是增量 / 随机镜像下降的一种特例。该发现使我们能够提出一种新方法,扩展了 Sinkhorn 算法超出两个约束。
Sep, 2019
本文提出了一种基于标准 Sinkhorn 更新和紧缩函数的交替迭代算法,以实现不平衡输运的熵正则化,同时证明其在所有情况下的线性收敛性,并在此基础上定义了满足几何公理的伪距离,即不平衡 Sinkhorn 散度,为正测度全空间提供了一种支持不平衡输运的新方法。
Oct, 2019
本文研究了一种计算具有有限第二矩的概率测度空间上概率分布 $P$ 的重心的一阶方法,并开发了一个框架,来推导梯度下降和随机梯度下降的全局收敛率,尽管重心泛函并不是测地凸的。
Jan, 2020
本文研究优化输运中的熵正则化对 Wasserstein 度量和重心的影响,提出了一种去偏差的 Wasserstein 重心方法,能够在保持快速的 Sinkhorn 迭代的同时避免了熵平滑。理论上证明了单峰高斯函数的熵输运重心是高斯函数,并量化了其方差偏差。同时通过实验验证了该方法的优越性。
Jun, 2020
本文研究了具有内部和外部规则化强度的双重规则化 Wasserstein 质心的计算,提出了一种通过阻尼 Sinkhorn 迭代构建的算法,并且无论规则化参数的选择如何都可以保证收敛。使用近似蒙特卡洛抽样实现的我们算法的非精确变体,在自由支持 / 无网格设置下为离散点云之间的 Wasserstein 质心逼近提供了非渐近收敛保证。
Jul, 2023
本文介绍了一种使用最优输送损失的可行计算方法,通过熵平滑和自动微分来减少计算负担、提高稳定性和平滑性,获得鲁棒和可微分的最优输送损失的逼近,从而训练大规模生成模型并补充标准深度网络生成模型的计算机架构。
Jun, 2017
机器学习中的熵正则最优传输问题可以通过 Sinkhorn 算法进行求解,而该研究介绍了 Sinkhorn 算法的连续时间模拟以及其在噪声和偏差容忍性方面的改进,同时与机器学习和数学领域中其他动态方法提供了统一的视角。
Nov, 2023
本研究提出使用 Sinkhorn 散度来估计平方 Wasserstein 距离,其允许更高的正则化水平,从而导致改进的计算复杂度界限和实际的强加速。
通过引入早停止和牛顿类型子程序,Sinkhorn-Newton-Sparse(SNS)算法提供了超指数收敛,并且在实际情况下收敛速度比 Sinkhorn 算法快几个数量级,包括离散密度的经验分布之间的最优输运和计算 Wasserstein W1,W2 距离。
Jan, 2024