NIPSMay, 2017

使用 Wasserstein 距离进行极小极大统计学习

PDF
TL;DR本论文基于 Wasserstein 空间的球体不确定性集合，提出了用于统计学习的极小极大框架，并证明了涉及原始极大似然问题的覆盖数特性的一般化界限。 作为一个具体的例子，我们为基于传输的域自适应问题提供了推广保证，其中源域和目标域分布之间的 Wasserstein 距离可以可靠地从未标记样本中估算。
distributionally robust optimizationminimax frameworkwasserstein spacegeneralization boundstransport-based domain adaptation
发现论文，激发创造
  • Wasserstein 距离下的 Minimax 分布估计

    论文提供了关于在 Wasserstein 损失下仅使用样本空间的测度性质和概率分布的弱矩假设，对于概率分布的估计的统计极小值率上下界的研究。

    Feb, 2018

  • 通过 Wasserstein 分布稳健优化桥接贝叶斯和极小值均方误差估计

    提出了一种基于 Wasserstein 模糊集的分布鲁棒的最小均方误差估计模型，该模型可以被视为一个零和博弈，其中一个统计学家选择估计器，另一个虚构对手选择一个先验，通过最小化和最大化预期的平方估计误差来实现其目标。

    Nov, 2019

  • Wasserstein 分布鲁棒优化：机器学习中的理论和应用

    此论文介绍了基于 Wasserstein 分布鲁棒优化的数据驱动决策方法，能够解决样本有限、参数不确定的情况下，采用仅仅通过数据学习决策的问题，绕过测试样本不能涵盖所有情况的问题，具有良好的效果且容易计算。此方法对于分类、回归等基本学习任务有很好启示作用。

    Aug, 2019

  • 具有 Wasserstein 不确定性集的强健性假设检验

    提出一种新的非参数假设检验框架，基于分布鲁棒优化，考虑接近经验分布的分布，旨在最小化最坏情况下的性能，具有较好的鲁棒性，应用于健康护理、在线变点检测和异常检测等领域，实验结果表明方法性能优越。

    May, 2021

  • 分布鲁棒性逻辑回归

    本文提出了一种使用 Wasserstein 距离构建概率分布空间球体，并在此基础上最小化包含了经典和常见正则化逻辑回归的最坏情况期望对数损失函数的鲁棒分布逻辑回归模型，同时使用基于 Wasserstein 球的分布鲁棒方法计算分类器误分类概率的置信度上下边界。

    Sep, 2015

  • 具原则的学习方法：带有局部扰动的 Wasserstein 分布鲁棒优化

    本文提出了一种基于新近估算定理的 WDRO（Wasserstein 分布鲁棒优化）最小化器，通过实现该最小化器及提供相应的风险一致性结果，发现该方法成功应用于本地扰动数据的 WDRO 推断，同时对噪声数据如图像分类数据集表现出鲁棒性优异的效果。

    Jun, 2020

  • 基于 Wasserstein 距离的数据驱动分布鲁棒优化：性能保证和可行重构

    研究使用 Wasserstein metric 中有限训练数据集，构建球形分布空间来解决分布鲁棒优化问题，并阐述其在投资组合优化和不确定性量化等领域的实用性和性能保证。

    May, 2015

  • 使用 Wasserstein 不确定性集进行鲁棒性假设检验

    本研究提出了一种基于 Wasserstein 距离度量的数据驱动假设检验新框架，结构性质使得该模型的复杂度与数据维度和样本大小基本无关，有助于构建鲁棒的检测器。

    May, 2018

  • 分布偏移下的统计估计：Wasserstein 扰动和极小化理论

    分布变化是现代统计学习中的一个严重问题，我们研究了 Wasserstein 分布变化以及联合分布变化，分析了一些重要的统计问题，包括位置估计、线性回归和非参数密度估计。对于均值估计和线性回归的预测误差，我们找到了最小二乘风险和最不利扰动，并证明了样本均值和最小二乘估计量分别是最优的。对于其他问题，我们提供了几乎最优的估计器和精确的有限样本界限。我们还引入了几种用于边界化分布变化的最小风险的工具，如平滑技术、最不利优先级序列的推广以及 Le Cam、Fano 和 Assouad 方法的泛化。

    Aug, 2023

  • 小批量 Wasserstein 学习：渐近和梯度特性

    本文对最优传输距离的使用进行了探索，指出在大规模数据集上计算这些距离的方法是通过平均几个较小的最优传输问题的结果。我们论证了这种方法等效于原问题的隐式正则化，并具有无偏估计，梯度和期望值周围的集中度约束等吸引人的属性。同时我们还开展了梯度流、GAN 或颜色转换等经验实验，以突出这种策略的实际价值。

    Oct, 2019