Oct, 2019

小批量Wasserstein学习：渐近和梯度特性

HTML
PDF
TL;DR本文对最优传输距离的使用进行了探索，指出在大规模数据集上计算这些距离的方法是通过平均几个较小的最优传输问题的结果。我们论证了这种方法等效于原问题的隐式正则化，并具有无偏估计，梯度和期望值周围的集中度约束等吸引人的属性。同时我们还开展了梯度流、GAN或颜色转换等经验实验，以突出这种策略的实际价值。
发现论文，激发创造
  • 使用Wasserstein距离的Sinkhorn逼近的微分特性

    应用最优输运及熵正则化计算Wasserstein距离中的Sinkhorn近似算法的梯度，可以提高学习和优化问题的效率，同时通过高阶平滑性，也可以提供统计保证。

    May, 2018

  • 正则性作为正则化：Brenier式平滑和强凸势能在最优输运中的应用

    本研究借鉴正则化理论，提出算法，利用二阶Wasserstein距离和Lipschitz性质，通过解决优化问题来得到光滑的Brenier凸函数，实现了快速而准确的图像传输。

    May, 2019

  • 通过明确的Wasserstein最小化，逐步半离散地训练生成网络的方法

    本文提供一种简单的过程，用于将生成网络适配成目标分布，从而实现小的Wasserstein距离，从而逐渐将生成器网络调整为目标分布。在MNIST和Thin-8数据的训练和测试集上，实现了良好的性能。

    Jun, 2019

  • 对抗计算最优输运映射

    本文介绍了一种新的基于生成对抗网络的优化输运模型，使用$2$-Wasserstein距离度量判别器的目标函数，证明了在训练期间，生成器沿着初始和目标分布之间的$W_2$-测地线走，最终重现出最优映射，在低维和高维连续设置中进行验证，并证明其在图像数据上的性能优于以前的方法。

    Jun, 2019

  • 正则化最优输运的理论是基于地面成本对抗的

    本研究提出了一个新的正则化解释角度，即将正则化视为一种鲁棒性机制，展示了任何凸正则化的OT都可以被解释为接受对手--地面成本的方式。这同时可以在地面空间上提供鲁棒的不相似性度量方法，并提出了相应的算法和实验性说明了这种方法的优越性。

    Feb, 2020

  • 应用于PU学习的部分最优传输

    本文就偏沃瑟斯坦问题和Gromov-Wasserstein问题提出了精确算法，并以正负样本不平衡学习和不同领域点云为例证明了它们在相应场景下的有效性。

    Feb, 2020

  • 关于不可比空间的最优输运问题的贡献

    该论文讨论了Optimal Transport在不同空间中的运用，尤其是研究了如何在图形和结构化数据之间定义和应用Optimal Transport，特别是在这些数据属于不可比较空间时如何完成适应操作。该文提出了一组Optimal Transport工具，其中包括对Gromov-Wasserstein距离的研究，其性质可以定义不同空间中的有趣运输问题。我们分析了各种工具的数学性质，建立了计算它们的算法解决方案，并研究了它在许多机器学习场景中的适用性，其中包括分类和简化、结构数据分区以及异构域适应。

    Nov, 2020

  • 小批量最优输运距离；分析与应用

    本文提出了一种基于小批量优化技术的最优传输距离计算方法，探讨了该方法的优点和局限，并提出了一种去偏置的小批量最优传输距离函数，并在机器学习中的各种应用中验证了该方法的实用性。

    Jan, 2021

  • 不平衡小批量最优输运；领域适应应用

    本文讨论了一种使用非均衡最优传输距离结合小批量策略的方法，以在处理大规模数据集时对比一般的优化传输距离更加鲁棒且能够获得更好的实验结果。

    Mar, 2021

  • Gromov-Wasserstein距离的快速梯度计算

    我们提出了一种新的方法，通过动态规划技术加速精确梯度计算，将复杂度从立方降低到二次，从而突破了原有的计算瓶颈，可以在总二次时间内获得新的熵解，这几乎是最优复杂度。大量实验证实了我们方法的高效性和有效性。

    Apr, 2024