基于 Wasserstein 梯度下降算法的新型 R-D 估计器,能够比现有神经网络方法更有效地在低速率源上获得可比或更严格的界限,同时需要较少的调整和计算工作。
Oct, 2023
提出一种新的随机优化算法来应对机器学习中遇到的大规模问题,该方法利用任意分布的样本来避免将密度值离散化,并提供了可证明收敛的方法,输出正确的距离。
May, 2016
本文分析了在以参考路径度量替换运输成本为熵成本时,最优传输和 Schr"odinger 问题之间的类比性,并推导出了双重 Kantorovich 类型的公式和 Benamou-Brenier 类型的表示公式,以及相对于路径度量的相对熵在其中的突出作用。同时,我们以布朗运动或奥恩斯坦 - 乌伦贝克过程作为参考路径度量,给出了一些数值例子。
Oct, 2015
本文通过熵正则化的 Optimal transport(OT)工具,对 Inverse Optimal Transport(IOT)进行正式化和系统分析,包括代价等价成本的流形特性、模型先验的影响以及基于模拟的结果验证等方面。
Dec, 2021
本文提出了一种新型的最优熵输运问题,解决了在一般拓扑空间的非负有限 Radon 测度类中的问题,其中,最小化线性输运功能和两个凸熵功能的和,并讨论了对数熵输运问题,介绍了一种度量空间中的新 Hellinger-Kantorovich 距离,该距离具有很强的几何分析能力。
Aug, 2015
本短篇论文着重回顾了优化输运相关理论(Optimal transport theory)及其在数据科学中的应用,重点在于阐述其针对分类、回归、密度拟合等机器学习等领域的优势,介绍了它的数值方法,并介绍了一些学术性质。
Mar, 2018
本论文研究基于熵罚函数的最优传输问题的随机算法,这些算法速度较快、实用,并且在数值实验中验证了它们相对于最优传输方法的优势。
本文研究了满足等式和不等式约束条件下的熵正则化的最优输运问题,并提出了一种基于 Sinkhorn 算法的对应解法。通过理论保证,我们首先得出在解决问题时通过熵正则化所带来的近似误差随着参数增加而指数级减小。此外,通过描述具有李雅普诺夫函数的优化过程,我们证明了 Sinkhorn 算法在对偶空间中具有亚线性一阶收敛速度。为了在弱熵正则化下实现快速、高阶收敛,我们通过动态正则化调度和二阶加速技术来改进 Sinkhorn 算法。总体而言,本文将熵最优输运的最近理论和数值进展与约束情况相结合,使从业者能够在复杂场景中得到近似的输运计划。
Mar, 2024
本研究提出通过解决 Sinkhorn 算法中的不动点方程从而得到熵正则化两个高斯测度之间的最优输运问题的闭合形式解,甚至适用于协方差矩阵退化的高斯分布,同时阐明了非平衡最优输运中的质量输运 / 破坏权衡,其最优输运方案为高斯分布。
Jun, 2020
对有限公共随机性的输出约束有损源编码进行失真率函数分析,讨论了均方误差度量的特殊情况,当源和重建分布均为高斯分布时,得到了显式表达式。这进一步揭示了以 Kullback-Leibler 散度或平方二次 Wasserstein 距离作为感知度量的二次高斯码率 - 失真 - 感知编码的信息论极限的部分特征。