May, 2024

沃瑟斯坦梯度提升：一种应用于后验回归的通用框架

HTML
PDF
TL;DRWasserstein gradient boosting is a novel ensemble method that uses Wasserstein gradient to approximate a target probability distribution and produce a distributional estimate of the output-distribution parameter, outperforming existing methods in probabilistic prediction.
发现论文，激发创造
  • 变分提升：迭代优化后验近似

    本文提出了一种黑盒变分推理方法——变分 boosting,通过迭代优化来逼近一个越来越丰富的逼近类，从而扩展其变分逼近类，应用于合成和真实的统计模型，表明通过比较精确和有效地后验推理，其结果优于现有的后验逼近算法。

    Nov, 2016

  • 梯度提升优化

    本文针对一种最先进的预测技术——梯度提升方法，通过解决无限维凸优化问题，顺序地生成一个由简单预测器（通常为决策树）的线性组合构成的模型。我们对两个广泛使用的梯度提升版本进行了彻底的分析，并从函数优化的角度引入了一个通用框架来研究这些算法。证明了它们在迭代次数趋近于无穷时的收敛性，并强调了具有强凸风险函数的重要性。我们还提供了一个合理的统计环境，确保在样本大小增长时提高了预测器的一致性。在我们的方法中，优化程序是无限运行的（也就是说，没有采用早期停止策略），并且通过适当的$L^2$损失惩罚和强凸性论证来实现统计正则化。

    Jul, 2017

  • Wasserstein分布稳健优化和变差正则化

    本文发展了关于Wasserstein DRO（分布鲁棒优化问题中的一种方法）变化规则的一般理论，它是一种新形式的正则化，可以处理可能不是凸的和不光滑的损失以及非欧几里得空间上的损失。通过应用我们理论中的变化规则，我们为对抗性鲁棒学习提供了新的泛化保证。

    Dec, 2017

  • Wasserstein变分推断

    本文介绍了基于Wasserstein变分推断的一种新的近似贝叶斯推断方法，该方法使用了包括f-分布和Wasserstein距离在内的一种新的差异度量方式，通过Sinkhorn迭代，该技术可以获得非常稳定的无似然训练方法，并且可以用于隐式分布和概率编程，同时应用于多种自编码器实验中，对其鲁棒性和性能进行了测试。

    May, 2018

  • Wasserstein分布鲁棒优化：机器学习中的理论和应用

    此论文介绍了基于Wasserstein分布鲁棒优化的数据驱动决策方法，能够解决样本有限、参数不确定的情况下，采用仅仅通过数据学习决策的问题，绕过测试样本不能涵盖所有情况的问题，具有良好的效果且容易计算。此方法对于分类、回归等基本学习任务有很好启示作用。

    Aug, 2019

  • 基于粒子的广义Wasserstein梯度流的变分推理

    该论文介绍了一种称为广义Wasserstein梯度下降（GWG）的粒子变分推断方法框架，基于KL散度的广义Wasserstein梯度流，可视为具有更广泛正则化器类的函数梯度方法，展示了GWG具有强大的收敛性保证，通过实验证明了该框架在模拟和真实数据问题上的有效性和高效性。

    Oct, 2023

  • 变分推理与Wasserstein梯度流之间的桥梁

    本文介绍了变分推断和Wasserstein梯度流之间的联系，通过将Bures-Wasserstein梯度流转化为欧几里德梯度流，并使用路径导数梯度估计器生成梯度场，同时提供了一种新的梯度估计方法适用于$f$-divergences的拓展。

    Oct, 2023

  • 正交梯度提升用于简化的加法规则集合

    梯度提升预测规则是学习可能解释性又准确的概率模型的有效方法，本文通过引入新的目标函数来优化规则条件的选择，从而在理解性与准确性之间取得了显著的平衡。

    Feb, 2024

  • 使用Wasserstein-邻近正规化的$α$-散度学习重尾分布

    我们提出了Wasserstein proximals of $\alpha$-divergences作为学习重尾分布的合适目标函数，首先给出了数据维度、$\alpha$和数据分布衰减率之间的足够关系以及某些情况下的必要关系，使得Wasserstein- proximal-regularized divergence是有限的，并且在某些尾部条件下提供了Wasserstein-1 proximal divergences的有限样本收敛速度，数值实验表明了学习重尾分布的稳定性，即使是没有第一或第二时刻的分布，也可以使用适当的生成模型（如GANs和与我们提出的Wasserstein proximal-regularized $\alpha$-divergences相关的基于流的模型）来学习目标分布，启发式地，$\alpha$-divergences处理重尾，Wasserstein proximals在分布之间提供非绝对连续性，并在深入尾部学习目标分布时控制流算法的速度。

    May, 2024

  • 在Wasserstein空间中的镜像和预处理梯度下降

    通过在Wasserstein空间上引入测度梯度的离散时间方案，证明了一些目标函数和正则化器的收敛性，同时展示了在计算生物学中选择不同的差异度和几何结构的优势。

    Jun, 2024