May, 2024

使用Wasserstein-邻近正规化的$α$-散度学习重尾分布

HTML
PDF
TL;DR我们提出了Wasserstein proximals of $\alpha$-divergences作为学习重尾分布的合适目标函数，首先给出了数据维度、$\alpha$和数据分布衰减率之间的足够关系以及某些情况下的必要关系，使得Wasserstein- proximal-regularized divergence是有限的，并且在某些尾部条件下提供了Wasserstein-1 proximal divergences的有限样本收敛速度，数值实验表明了学习重尾分布的稳定性，即使是没有第一或第二时刻的分布，也可以使用适当的生成模型（如GANs和与我们提出的Wasserstein proximal-regularized $\alpha$-divergences相关的基于流的模型）来学习目标分布，启发式地，$\alpha$-divergences处理重尾，Wasserstein proximals在分布之间提供非绝对连续性，并在深入尾部学习目标分布时控制流算法的速度。
发现论文，激发创造
  • 松弛瓦石均衡及其在GAN中的应用

    本文提出了一种新的Relaxed Wasserstein（RW）距离，通过广义化Wasserstein-1距离与BregmanCost函数，其所得到的RW距离具有良好的统计性能，同时不牺牲计算可行性，与GANs框架结合，我们开发了Relaxed WGANs（RWGANs），在使用启发式方法进行近似的同时不仅在统计上具有灵活性，而且在现实图像上的实验表明，在使用KL代价函数下，RWGAN优于其他竞争方法，例如WGAN，即使使用梯度惩罚。

    May, 2017

  • Cramer距离作为解决偏置Wasserstein梯度的方案

    本文研究了概率分歧度量的性质，比较了Wasserstein度量与Kullback-Leibler分歧的差异，提出Cramér距离作为一种替代度量并设计了Cramér生成对抗网络，表现显著优于Wasserstein生成对抗网络。

    May, 2017

  • Wasserstein分布稳健优化和变差正则化

    本文发展了关于Wasserstein DRO（分布鲁棒优化问题中的一种方法）变化规则的一般理论，它是一种新形式的正则化，可以处理可能不是凸的和不光滑的损失以及非欧几里得空间上的损失。通过应用我们理论中的变化规则，我们为对抗性鲁棒学习提供了新的泛化保证。

    Dec, 2017

  • 计算精确瓦瑟斯坦距离的快速近端点方法

    开发了一种基于Inexact Proximal point方法的算法(IPOT)，该算法通过将投影用于概率单纯形来近似评估近端算子，以解决精确最优输运问题，并具有具有理论保证和强健的正则化参数选择，同时缓解了数值稳定性问题并避免了应用于生成模型时的收缩问题。此外，基于IPOT提出了一种新的算法，用于获得更锐利的Wasserstein重心。

    Feb, 2018

  • Wasserstein分布鲁棒优化：机器学习中的理论和应用

    此论文介绍了基于Wasserstein分布鲁棒优化的数据驱动决策方法，能够解决样本有限、参数不确定的情况下，采用仅仅通过数据学习决策的问题，绕过测试样本不能涵盖所有情况的问题，具有良好的效果且容易计算。此方法对于分类、回归等基本学习任务有很好启示作用。

    Aug, 2019

  • 通过正则化的Wasserstein近似实现无噪声采样算法

    基于潜在函数模型抽样的显式基于评分的MCMC方法，以确定性的方式演化粒子，使用核卷积逼近的方法得到评分项，表现出快速收敛性和改进的维度依赖性相对于未调整的Langevin算法（ULA）和Metropolis调整的Langevin算法（MALA）的混合时间界限，在二次势函数下导出了每次迭代的分布的闭式表达，表征了方差降低，实证结果表明粒子以有序的方式行动，位于潜在函数的等值线上，此外，基于提出方法的后验均值估计器相对于ULA和MALA更接近最大后验估计器，在贝叶斯逻辑回归中表现出来。

    Aug, 2023

  • 离线（多通道）随机梯度下降法中的近似重尾问题

    我们研究了随机梯度下降（SGD）在实际环境中可能展现出重尾行为，并且尾部的重度可能与整体性能有相关性。我们的贡献在于填补了单次通过（online）SGD和多次通过（offline）SGD之间在实际数据量有限情况下，生成重尾行为的机制仍不够清楚的空白。我们证明了离线SGD的稳态分布呈现了“近似”的幂律尾，并且近似误差由训练数据的经验分布在Wasserstein距离下收敛于真实潜在数据分布的速度所控制。随着数据点数量的增加，离线SGD行为将越来越类似于幂律分布。

    Oct, 2023

  • 均值随机梯度下降中的重尾出现

    通过对连续扩散逼近的随机梯度下降进行分析，我们发现它在渐近意义下表现出重尾分布，并给出了尾指数的上下界。我们通过数值实验验证了这些界限，并显示它们通常是SGD迭代的经验尾指数的近似。此外，这些界限的显式形式使我们能够量化优化参数与尾指数之间的相互作用，这对于研究神经网络的广义性能和SGD避免次优局部极小值的能力的关联问题具有重要意义。

    Feb, 2024

  • 沃瑟斯坦梯度提升：一种应用于后验回归的通用框架

    Wasserstein gradient boosting is a novel ensemble method that uses Wasserstein gradient to approximate a target probability distribution and produce a distributional estimate of the output-distribution parameter, outperforming existing methods in probabilistic prediction.

    May, 2024

  • 具有不变统计损失的多元和重尾分布隐式生成模型的稳健训练

    本研究解决了传统隐式生成模型在处理重尾和多元数据分布时的不稳定训练和模式丢失问题。通过引入基于不变统计损失的方法，本文提出了一种名为Pareto-ISL的新生成方案，能够有效捕捉数据分布的尾部特征及中心特性。实验结果表明，该方法在多维生成建模中表现出强大的稳健性，为生成对抗网络的预训练提供了有效技术支持。

    Oct, 2024