May, 2024

使用 Wasserstein - 邻近正规化的 $α$- 散度学习重尾分布

PDF
TL;DR我们提出了 Wasserstein proximals of $\alpha$-divergences 作为学习重尾分布的合适目标函数，首先给出了数据维度、$\alpha$ 和数据分布衰减率之间的足够关系以及某些情况下的必要关系，使得 Wasserstein- proximal-regularized divergence 是有限的，并且在某些尾部条件下提供了 Wasserstein-1 proximal divergences 的有限样本收敛速度，数值实验表明了学习重尾分布的稳定性，即使是没有第一或第二时刻的分布，也可以使用适当的生成模型（如 GANs 和与我们提出的 Wasserstein proximal-regularized $\alpha$-divergences 相关的基于流的模型）来学习目标分布，启发式地，$\alpha$-divergences 处理重尾，Wasserstein proximals 在分布之间提供非绝对连续性，并在深入尾部学习目标分布时控制流算法的速度。
wasserstein proximals$\alpha$-divergencesheavy-tailed distributionsgenerative modelsflow-based algorithms
发现论文，激发创造
  • 具有独立调节能力的 f - 散度变分推断

    本文提出了一类新的尾部自适应的 f 散度，可以用于变分推断中的 α 分布，且在有限矩状况下同时实现大量覆盖性，用于改进 SAC 算法等深度强化学习任务时相较于基于 KL 散度和 α 散度的现有方法表现更好。

    Oct, 2018

  • 通过正则化的 Wasserstein 近似实现无噪声采样算法

    基于潜在函数模型抽样的显式基于评分的 MCMC 方法，以确定性的方式演化粒子，使用核卷积逼近的方法得到评分项，表现出快速收敛性和改进的维度依赖性相对于未调整的 Langevin 算法（ULA）和 Metropolis 调整的 Langevin 算法（MALA）的混合时间界限，在二次势函数下导出了每次迭代的分布的闭式表达，表征了方差降低，实证结果表明粒子以有序的方式行动，位于潜在函数的等值线上，此外，基于提出方法的后验均值估计器相对于 ULA 和 MALA 更接近最大后验估计器，在贝叶斯逻辑回归中表现出来。

    Aug, 2023

  • 变分 Wasserstein 问题的平滑双重方法

    该研究通过引入熵平滑，将 Carlier 等人（2014）所提出的 Wasserstein 变分问题的对偶式正则化，从而处理了涉及 Wasserstein 距离的计算问题，得到了更容易实现和数值更稳定的优化问题，应用于计算 Wasserstein 重心和空间规则化函数的梯度流。

    Mar, 2015

  • 基于 Wasserstein 的高概率泛化界学习

    本文介绍了基于 Wasserstein 距离的 PAC-Bayesian 泛化边界，并从分别适用于批量学习与独立同分布数据和在线学习的角度进行了证明，并获得了用于 SRM 的可优化培训目标。

    Jun, 2023

  • 通过 Wasserstein 距离实现更紧凑的预期泛化误差界限

    本文提出了基于 Wasserstein 距离的预期泛化误差界限，并分别介绍了全数据集、单字母和随机子集限制，以及从 Steinke 和 Zakynthinou [1] 的随机子抽样设置中的类似物。此外，当损失函数有界且选择 Wasserstein 距离中的度量时，这些界从相对熵的基础上得到了更好的下限 (因此是更紧的)。在特定情况下，这些结果可以被看作是考虑了假设空间几何和基于相关熵的界限之间的桥梁。另外，本文还介绍了如何基于这些界限产生各种新的界限，并使用类似的证明技术得出关于后向通道的类似界限。

    Jan, 2021

  • 使用 Wasserstein Loss 进行学习

    本文提出了一个基于 Wasserstein 距离的多标签学习损失函数，基于概率度量体提供了一种自然的概念。该算法可以有效鼓励模型在输出空间中使用所选度量的平滑性，并用 Yahoo Flickr Creative Commons 数据集上的标签预测问题验证了性能。

    Jun, 2015

  • 利用 Sinkhorn 散度实现更快的 Wasserstein 距离估计

    本研究提出使用 Sinkhorn 散度来估计平方 Wasserstein 距离，其允许更高的正则化水平，从而导致改进的计算复杂度界限和实际的强加速。

    Jun, 2020

  • 使用切片瓦瑟斯坦距离进行生成建模

    本篇论文提出了一种基于随机投影的生成模型，该模型较传统的 GAN 模型更加稳定和精确，采用的 Wasserstein 距离作为度量计算生成样本的真实性，可以得到更准确的生成结果。

    Mar, 2018

  • 变分 Wasserstein 梯度流

    本文提出一种应用于概率分布空间优化问题中的变分形式的 Wasserstein 梯度流方法，该方法利用了内部批量样本更新，实现了良好定义和有意义的目标函数下的梯度流构造，并在合成和真实高维数据集的实验中展示了其性能和可扩展性。

    Dec, 2021

  • 在 Wasserstein 距离中的最优实例私有密度估计

    使用 Wasserstein 距离对分布进行差分私密密度估计，并设计了可以适应简单实例的实例最优算法，对于特殊情况下的离散分布，结果还导致了 TV 距离下的实例最优私密学习。

    Jun, 2024