Jun, 2021

Bures-Wasserstein 流形上的平均值：梯度下降的无维度收敛

PDF
TL;DR本研究探讨了一阶优化算法，用于计算高斯分布在最优输运度量下的质心，提出了新的测地线凸性结果和收敛率，能够更好地控制迭代，解决了 Riemannian GD 收敛慢的问题，并为与其相关的两种平均计算提供了理论依据。
发现论文，激发创造
  • Bures-Wasserstein 几何中心的梯度下降算法

    本文研究了一种计算具有有限第二矩的概率测度空间上概率分布 $P$ 的重心的一阶方法，并开发了一个框架，来推导梯度下降和随机梯度下降的全局收敛率，尽管重心泛函并不是测地凸的。

    Jan, 2020

  • 在黎曼流形上的均值随机梯度下降

    本文提出了一个基于 Riemann 流形的梯度下降法以及一个几何性质框架，并探讨了如何将慢速收敛的结果转化为快速收敛结果。此外，我们将该框架应用于几何上强凸和欧几里得非凸问题，以及流式 $k$-PCA 问题，并展示了如何加速随机幂法的优化率。

    Feb, 2018

  • Wasserstein Barycenters 的快速计算

    本文提出两种算法来计算一组经验概率测度的 Wasserstein barycenters，其中包括使用 entropic 正则化来平滑 Wasserstein distance 的方法，并使用矩阵缩放算法计算其梯度，这些算法可用于可视化大量图像并解决约束聚类问题。

    Oct, 2013

  • 通过平均最优输运映射对 Wasserstein 空间中的重心进行表征

    本文研究了 Wasserstein 空间中随机概率测度的重心。利用对偶论证方法，我们对具有紧支撑随机概率测度的各种参数类别的人口重心进行了精确的描述。特别地，我们将 Agueh 和 Carlier（2011）中引入的水斯坦空间中的平均和固定参考测度相对于最优传输映射的期望联系起来。我们还讨论了这种方法在信号和图像处理的可变形模型分析中的有用性。 在这种情况下，我们也考虑从 n 个独立且同分布的随机概率测度中估计人口重心的问题。

    Dec, 2012

  • 连续正则化 Wasserstein 重心

    通过引入随机算法，该研究提出了一种计算连续分布的 Wasserstein 重心的有效在线算法，该算法基于优化输运理论和 Wasserstein 重心，并使用其对偶势隐式地参数化了该问题。

    Aug, 2020

  • 在黎曼流形上的游戏中，无关曲率的最终迭代收敛

    该研究通过研究 Riemannian 梯度下降算法，证明了无论流形的曲率如何，只要保持测地强单调性，通过使用曲率不明感的步长，可以实现曲率无关和线性的最后一次迭代收敛率。

    Jun, 2023

  • 无需极小极大优化的连续 Wasserstein-2 重心估计

    该论文提出了一种可扩展的算法，用于计算 Wasserstein-2 重心，针对输入测量，其不仅限于离散形式，并使用输入凸神经网络和周期一致性正则化以避免引入偏差，并提供了误差界的理论分析，以及在低维定性情景和高维定量实验中提出的方法的实证证据。

    Feb, 2021

  • 用神经最优传输估计分布的重心

    使用建立在最优输运（Optimal Transport）的对偶形式基础上的新的可扩展方法，提出了求解 Wasserstein barycenter 问题的策略，具有双层对抗学习目标且适用于广义成本函数，同时在理论上建立了误差界限，并在图像数据集构建和举例场景中展示了其适用性和有效性。

    Feb, 2024

  • Wasserstein barycenters 计算是 NP 难问题

    本文证明了计算 Wasserstein barycenters 的困难性，在任何维度上都具有指数时间复杂度，这揭示了一个 “维度诅咒” 现象，并延伸到其他 Optimal Transport 度量的概率分布。

    Jan, 2021

  • 非凸学习和优化的梯度均匀收敛性

    研究非凸性学习任务中经验风险的精细属性（梯度）和群体对应属性的收敛速度以及收敛对优化的影响；提出矢量值 Rademacher 复杂性作为导出非凸问题梯度无维度一致收敛界的工具；给出了应用这些技术进行非凸广义线性模型和非凸健壮回归的批梯度下降方法的新分析，显示了使用任何找到近似稳定点的算法可以获得最优样本复杂度。

    Oct, 2018