使用正特征的线性时间Sinkhorn散度
应用最优输运及熵正则化计算Wasserstein距离中的Sinkhorn近似算法的梯度,可以提高学习和优化问题的效率,同时通过高阶平滑性,也可以提供统计保证。
May, 2018
本研究提出了一种新颖的策略以有效地近似两个离散度量之间的 Sinkhorn 距离。通过直接将可忽略的双重解的组件设置为该值,我们建议通过筛选这些组件来进入 Sinkhorn 问题。这基于 Sinkhorn 分歧问题的新增双重的新公式和该问题的 KKT 最优性条件,其可从该问题中识别可筛选的双重组件,从而确保了可证明的近似。在包括规则化最优输送的复杂任务中,我们展示了 Screenkhorn 的效率,例如维数约简和领域适应。
Jun, 2019
本文提出了一种基于标准 Sinkhorn 更新和紧缩函数的交替迭代算法,以实现不平衡输运的熵正则化,同时证明其在所有情况下的线性收敛性,并在此基础上定义了满足几何公理的伪距离,即不平衡 Sinkhorn 散度,为正测度全空间提供了一种支持不平衡输运的新方法。
Oct, 2019
本研究提出了一个新的正则化解释角度,即将正则化视为一种鲁棒性机制,展示了任何凸正则化的OT都可以被解释为接受对手--地面成本的方式。这同时可以在地面空间上提供鲁棒的不相似性度量方法,并提出了相应的算法和实验性说明了这种方法的优越性。
Feb, 2020
本文研究优化输运中的熵正则化对Wasserstein度量和重心的影响,提出了一种去偏差的Wasserstein重心方法,能够在保持快速的Sinkhorn迭代的同时避免了熵平滑。理论上证明了单峰高斯函数的熵输运重心是高斯函数,并量化了其方差偏差。同时通过实验验证了该方法的优越性。
Jun, 2020
使用最优传输距离(OT)和尤其是熵正则化OT距离作为机器学习和数据科学中的一种评估度量越来越普遍。本研究主要针对在线Sinkhorn算法进行改进和优化,提出了改进的收敛性分析和压缩技术结合的在线Sinkhorn算法,通过实证实验和理论证明验证了方法的有效性和性能。
Oct, 2023
机器学习中的熵正则最优传输问题可以通过Sinkhorn算法进行求解,而该研究介绍了Sinkhorn算法的连续时间模拟以及其在噪声和偏差容忍性方面的改进,同时与机器学习和数学领域中其他动态方法提供了统一的视角。
Nov, 2023
通过引入早停止和牛顿类型子程序,Sinkhorn-Newton-Sparse(SNS)算法提供了超指数收敛,并且在实际情况下收敛速度比Sinkhorn算法快几个数量级,包括离散密度的经验分布之间的最优输运和计算Wasserstein W1,W2距离。
Jan, 2024
本文研究了满足等式和不等式约束条件下的熵正则化的最优输运问题,并提出了一种基于Sinkhorn算法的对应解法。通过理论保证,我们首先得出在解决问题时通过熵正则化所带来的近似误差随着参数增加而指数级减小。此外,通过描述具有李雅普诺夫函数的优化过程,我们证明了Sinkhorn算法在对偶空间中具有亚线性一阶收敛速度。为了在弱熵正则化下实现快速、高阶收敛,我们通过动态正则化调度和二阶加速技术来改进Sinkhorn算法。总体而言,本文将熵最优输运的最近理论和数值进展与约束情况相结合,使从业者能够在复杂场景中得到近似的输运计划。
Mar, 2024