Oct, 2019

小批量 Wasserstein 学习：渐近和梯度特性

PDF
TL;DR本文对最优传输距离的使用进行了探索，指出在大规模数据集上计算这些距离的方法是通过平均几个较小的最优传输问题的结果。我们论证了这种方法等效于原问题的隐式正则化，并具有无偏估计，梯度和期望值周围的集中度约束等吸引人的属性。同时我们还开展了梯度流、GAN 或颜色转换等经验实验，以突出这种策略的实际价值。
optimal transport distancesmachine learningminibatchesimplicit regularizationempirical experiments
发现论文，激发创造
  • 小批量最优输运距离；分析与应用

    本文提出了一种基于小批量优化技术的最优传输距离计算方法，探讨了该方法的优点和局限，并提出了一种去偏置的小批量最优传输距离函数，并在机器学习中的各种应用中验证了该方法的实用性。

    Jan, 2021

  • 通过明确的 Wasserstein 最小化，逐步半离散地训练生成网络的方法

    本文提供一种简单的过程，用于将生成网络适配成目标分布，从而实现小的 Wasserstein 距离，从而逐渐将生成器网络调整为目标分布。在 MNIST 和 Thin-8 数据的训练和测试集上，实现了良好的性能。

    Jun, 2019

  • 一种最优传输的泛化视角

    该研究使用算法传输成本的期望 Wasserstein 距离得到了学习算法泛化误差的上界，为通过最优传输视图研究学习算法的泛化提供了新途径并对损失函数施加了较少的限制，并通过总变差距离、相对熵和 VC 维度提供了几个其他的算法传输成本的上界，最后基于我们的建立的框架，我们分析了深度学习中的泛化误差并得出了结论：深度神经网络中的泛化误差随着层数的增加而指数级下降。

    Nov, 2018

  • 不平衡小批量最优输运；领域适应应用

    本文讨论了一种使用非均衡最优传输距离结合小批量策略的方法，以在处理大规模数据集时对比一般的优化传输距离更加鲁棒且能够获得更好的实验结果。

    Mar, 2021

  • 使用正则化最优传输训练 GAN 的收敛性和鲁棒性

    本文通过基于正则化最优传输的平滑 Wasserstein GAN 公式实现梯度信息的获取，从而实现对该目标函数的一阶优化，为一类生成对抗网络优化算法建立了理论收敛保证，且仅需要解决鉴别器问题以近似最优。该算法计算效率高，应用于 MNIST 数字以及 CIFAR-10 图像数据集相比其他同等架构和计算能力的算法生成的图像效果显著。

    Feb, 2018

  • 概率分布的切片瓦瑟斯坦核

    本文介绍了一种新的视角，旨在通过切片 Wasserstein 距离和核方法提供一系列正定核，并展示了这些核在机器学习中的不同任务中带来的益处，从而为优化传输距离在机器学习中的应用提供了新的可能。

    Nov, 2015

  • Wasserstein 距离的统计学特征

    本文介绍了 Wasserstein 距离作为概率分布度量的数学概念，以及其在统计学中的重要应用，包括了弱收敛、矩收敛、概率分布扰动等内容。

    Jun, 2018

  • 高斯混合模型空间中的 Wasserstein 型距离

    此研究介绍了一种基于 Wasserstein 距离的方法，用于高维数问题中的 Gaussian 混合模型的优化问题，并讨论了它的性质和在图像处理中的应用。

    Jul, 2019

  • 使用 Wasserstein 距离进行极小极大统计学习

    本论文基于 Wasserstein 空间的球体不确定性集合，提出了用于统计学习的极小极大框架，并证明了涉及原始极大似然问题的覆盖数特性的一般化界限。 作为一个具体的例子，我们为基于传输的域自适应问题提供了推广保证，其中源域和目标域分布之间的 Wasserstein 距离可以可靠地从未标记样本中估算。

    May, 2017

  • 子空间鲁棒瓦热斯坦距离

    本文针对高维离散量之间的 Wasserstein 距离提出了具有鲁棒性的 “Max-Min” 方案，通过将量投影到一个较低维的子空间来最大化它们之间的距离。此外，我们提出了一种基于熵正则化的算法来解决相关问题，并在实验中显示了其优越性。

    Jan, 2019