使用镜像下降与共轭梯度的高效准确最优输运
本研究提出了一种基于 Nesterov 的平滑技术的新算法,通过近似 Log-Sum-Exp 函数来平滑 Kantorovich 势的非平滑 c-transform,并将此平滑后的 Kantorovich 泛函应用于快速的 FISTA 算法以提高计算效率和精确度。实验结果表明,该方法相较于 Sinkhorn 算法在相同参数下具有更快的收敛速度和更高的准确性。
Apr, 2021
本研究分析了逼近两个离散分布之间的一般最优运输(OT)距离的两种算法,并证明了复杂度界限,其中一种基于 Sinkhorn 算法,另一种基于 Adaptive Primal-Dual Accelerated Gradient Descent (APDAGD) 算法。与先前的最优界限相比,我们的算法具有更好的复杂度界限,更好地依赖于 ε,同时可用于各种正则项。
Feb, 2018
本文证明了熵正则化最优输运问题的 Gamma 收敛性,并证明了隐式步骤按熵正则化距离时收敛于原始梯度流,证明了压缩后的最优输运计划收敛于最优输运计划,这表明了压缩后的熵正则化最优输运计划在熵消失时收敛于最优输运计划。
Dec, 2015
该论文利用了 Schr"odinger 桥问题和熵惩罚的最优输运之间的等价性,以寻找一种与最优输运相似的新的方法来探究二者间的对偶性。该方法提供了一些先验估计并且在正则化参数趋于零的极限情况下一致。该方法还适用于多个数据边缘的情况,证明了 Sinkhorn 算法的新的收敛性质。
Nov, 2019
利用粒子混合模型及连续时间梯度下降对机器学习与信号处理中的测量值进行凸函数最小化,特别是在使用单个隐藏层的神经网络进行训练时,可通过 Wasserstein 梯度流达到全局最小值。
May, 2018
本文提出了一个基于离散最优输运问题的简单子抽样方案,用于快速随机近似计算最优输运距离。该方案针对完全数据的随机子集操作,可使用任何精确算法作为黑盒后端,包括最先进的求解器和熵惩罚版本。我们给出了其非渐进偏差范围,以针对更高的精度或更短的计算时间进行简化。实验证明,该子抽样方案可以在计算时间大大降低的情况下,获得比精确方法更好的近似效果。
Feb, 2018
本文提出两种有效的对数线性时间逼近方法来计算熵正则化最优输运问题,并提出了一种结合图神经网络和增强 Sinkhorn 的图输运网络,并实验证明它在节点数量方面具有对数线性的规模,并在图距离回归方面优于以前的模型 48%。
Jul, 2021
本文提出了一种新的、原则性的方法来从样本中学习两个分布之间的最优传输,学习方法基于最优传输理论并涉及解决一个新的极小极大优化问题,通过最优 Kantorovich 势量级诱导最优传输映射,借鉴最近在输入凸型神经网络领域的进展,提出了一个新的框架,其中一个凸函数的梯度表示最优传输映射。数值实验表明,我们学习到了最优传输映射,这一方法确保我们发现的传输映射独立于神经网络的初始化方式。而且,由于凸函数的梯度自然地模拟了不连续的传输映射,因此可以轻松捕捉具有不连续支持的目标分布。
Aug, 2019