Jul, 2023

Moreau-Yoshida变分传输: 用于解决正则化分布优化问题的通用框架

HTML
PDF
TL;DR我们提出了一种名为Moreau-Yoshida Variational Transport（MYVT）的新方法，用于解决正则化的分布优化问题，该方法包括优化、概率分布、正则化估计和生成建模以及原始-对偶算法。
发现论文，激发创造
  • 大规模最优输运的随机优化

    提出一种新的随机优化算法来应对机器学习中遇到的大规模问题，该方法利用任意分布的样本来避免将密度值离散化，并提供了可证明收敛的方法，输出正确的距离。

    May, 2016

  • 斯坦变分梯度下降：一种通用贝叶斯推断算法

    本文提出了用于优化的通用变分推理算法，它是梯度下降法的一种自然补充，可以通过一种函数梯度下降来最小化KL距离，从而迭代地传输一组粒子以匹配目标分布。经过在各种真实世界模型和数据集上的实证研究，我们的方法与现有的最先进的方法相竞争。我们方法的推导基于一个新的理论结果，它连接了平滑转换下KL距离的导数与Stein's恒等式以及最近提出的核化的Stein距离，这也具有独立的兴趣。

    Aug, 2016

  • 平滑且稀疏最优输运

    本文探讨在最优输运问题的原始和对偶形式中引入强凸项的正则化方法，以产生稀疏和群稀疏输送计划，并在颜色转移任务上展示了该框架的应用。

    Oct, 2017

  • Wasserstein变分推断

    本文介绍了基于Wasserstein变分推断的一种新的近似贝叶斯推断方法，该方法使用了包括f-分布和Wasserstein距离在内的一种新的差异度量方式，通过Sinkhorn迭代，该技术可以获得非常稳定的无似然训练方法，并且可以用于隐式分布和概率编程，同时应用于多种自编码器实验中，对其鲁棒性和性能进行了测试。

    May, 2018

  • 超越重新参数化技巧的路径导数

    通过重参数化技巧计算的梯度与最优输运形式中的传输方程解直接对应。我们使用这种视角来为直接不易受到重参数化技巧影响的概率分布（伽马、贝塔和Dirichlet）计算（近似）路径梯度。

    Jun, 2018

  • 正则性作为正则化：Brenier式平滑和强凸势能在最优输运中的应用

    本研究借鉴正则化理论，提出算法，利用二阶Wasserstein距离和Lipschitz性质，通过解决优化问题来得到光滑的Brenier凸函数，实现了快速而准确的图像传输。

    May, 2019

  • 分片瓦烧斯坦变分推理

    本研究提出了一种新的变分推断方法，通过最小化切片Wasserstein距离来近似非规范化分布并使用神经网络对变分分布进行逼近。我们还提供了理论性分析，并用合成和实际数据进行了实验验证。

    Jul, 2022

  • 使用变分传输和镜像下降在约束域上进行分布式优化的基于粒子的算法

    本文提出了一种基于粒子的迭代算法——反射变分传输（mirrorVT），应用于概率分布的约束优化问题，特别是在单纯形和欧几里得球约束域上，该算法通过推送粒子对定义在对偶空间上的分布流形执行 Wasserstein 梯度下降，实现了概率分布函数的优化，并且在理论分析和模拟实验中验证了其收敛性和有效性。

    Aug, 2022

  • 一种用于约束优化传输问题的Sinkhorn类型算法

    本文研究了满足等式和不等式约束条件下的熵正则化的最优输运问题，并提出了一种基于Sinkhorn算法的对应解法。通过理论保证，我们首先得出在解决问题时通过熵正则化所带来的近似误差随着参数增加而指数级减小。此外，通过描述具有李雅普诺夫函数的优化过程，我们证明了Sinkhorn算法在对偶空间中具有亚线性一阶收敛速度。为了在弱熵正则化下实现快速、高阶收敛，我们通过动态正则化调度和二阶加速技术来改进Sinkhorn算法。总体而言，本文将熵最优输运的最近理论和数值进展与约束情况相结合，使从业者能够在复杂场景中得到近似的输运计划。

    Mar, 2024

  • Stein运输用于贝叶斯推断

    本研究针对贝叶斯推断中的效率问题，提出了新方法“Stein运输”，该方法通过预定的温度概率分布曲线有效推动粒子集。研究表明，与传统的Stein变分梯度下降方法相比，Stein运输在有限时间内获得更加精准的后验近似，同时显著减少了计算开销，且有效减轻了常见的方差崩溃现象。

    Sep, 2024