Aug, 2019

Wasserstein 分布鲁棒优化：机器学习中的理论和应用

PDF
TL;DR此论文介绍了基于 Wasserstein 分布鲁棒优化的数据驱动决策方法，能够解决样本有限、参数不确定的情况下，采用仅仅通过数据学习决策的问题，绕过测试样本不能涵盖所有情况的问题，具有良好的效果且容易计算。此方法对于分类、回归等基本学习任务有很好启示作用。
data-driven decision-makingwasserstein distributionally robust optimizationconvex optimization problemsasymptotic consistency guaranteesstatistical learning
发现论文，激发创造
  • 基于 Wasserstein 距离的数据驱动分布鲁棒优化：性能保证和可行重构

    研究使用 Wasserstein metric 中有限训练数据集，构建球形分布空间来解决分布鲁棒优化问题，并阐述其在投资组合优化和不确定性量化等领域的实用性和性能保证。

    May, 2015

  • Wasserstein 分布稳健随机控制：一种数据驱动的方法

    研究了一个基于 Wasserstein 分布的鲁棒控制策略问题，提出了一个可计算的值迭代算法和策略迭代算法，并通过动态规划和 Kantorovich 对偶理论的分析，在保证置信水平不降低的情况下，构造了一个多阶段性能保证和最优分布鲁棒控制策略。

    Dec, 2018

  • 使用 Wasserstein 距离进行极小极大统计学习

    本论文基于 Wasserstein 空间的球体不确定性集合，提出了用于统计学习的极小极大框架，并证明了涉及原始极大似然问题的覆盖数特性的一般化界限。 作为一个具体的例子，我们为基于传输的域自适应问题提供了推广保证，其中源域和目标域分布之间的 Wasserstein 距离可以可靠地从未标记样本中估算。

    May, 2017

  • 具原则的学习方法：带有局部扰动的 Wasserstein 分布鲁棒优化

    本文提出了一种基于新近估算定理的 WDRO（Wasserstein 分布鲁棒优化）最小化器，通过实现该最小化器及提供相应的风险一致性结果，发现该方法成功应用于本地扰动数据的 WDRO 推断，同时对噪声数据如图像分类数据集表现出鲁棒性优异的效果。

    Jun, 2020

  • 具有 Wasserstein 不确定性集的强健性假设检验

    提出一种新的非参数假设检验框架，基于分布鲁棒优化，考虑接近经验分布的分布，旨在最小化最坏情况下的性能，具有较好的鲁棒性，应用于健康护理、在线变点检测和异常检测等领域，实验结果表明方法性能优越。

    May, 2021

  • 基于 Wasserstein 分配鲁棒性的上下文强化学习策略评估与学习

    提出了一种利用 Wasserstein 距离的分布鲁棒优化方法，用于解决环境不匹配的问题，并提供了理论分析和实证验证。

    Sep, 2023

  • 鲁棒的 Wasserstein 分布推断及其在机器学习中的应用

    本文研究表明多个机器学习评估器，包括平方根 LASSO 和正则化逻辑回归，可以表示为分布鲁棒优化问题的解决方案，其相关的不确定区域基于适当定义的 Wasserstein 距离。因此，我们的表示使我们能够将正则化视为引入人为对手的结果，该对手扰动经验分布以考虑损失估计中的样外效应。此外，我们引入了 RWPI（Robust Wasserstein Profile Inference），这是一种新颖的推断方法，它将启发式似然性方法的使用扩展到最优传输成本的设置中（其中 Wasserstein 距离是一个特殊情况）。我们使用 RWPI 展示如何最优地选择不确定性区域的大小，从而能够选择这些机器学习评估器的正则化参数，而不使用交叉验证。数值实验也给出了验证我们理论发现的结果。

    Oct, 2016

  • 分布鲁棒性逻辑回归

    本文提出了一种使用 Wasserstein 距离构建概率分布空间球体，并在此基础上最小化包含了经典和常见正则化逻辑回归的最坏情况期望对数损失函数的鲁棒分布逻辑回归模型，同时使用基于 Wasserstein 球的分布鲁棒方法计算分类器误分类概率的置信度上下边界。

    Sep, 2015

  • 使用 Wasserstein 度量的分布鲁棒优化分解算法

    本文研究了基于 Wasserstein 距离的分布鲁棒优化问题，将其归约为半无限规划问题，并提供了求解非线性模型的交换算法和凸情况下基于分离预言的中心割面算法，通过对分布鲁棒广义 logistic 回归模型的数字实验表明，该算法无论是在预测精度上还是在标准误差方面都表现得更好。

    Apr, 2017

  • 基于 Wasserstein 距离的分布鲁棒策略学习

    研究了采用分布鲁棒优化方法（distributionally robust optimization，DRO）来推断个性化治疗规则（individualized treatment rules，ITRs）的估计器在新设置中的应用，包括 Wasserstein distance-based ambiguity characterizations 和其在目标人群中的理论表现的评估。这个方法在目标人群中优于传统的策略。

    May, 2022