ICLRSep, 2021

基于 Wasserstein 分布鲁棒优化的类别条件域泛化

PDF
TL;DR本文介绍一种基于分布鲁棒优化的分类器，在 Wasserstein 球内最优化条件分布的最坏情况下，增强条件分布领域泛化的鲁棒性，并利用迭代算法自动学习 Wasserstein 球半径，实验表明该方法比传统领域泛化方法在未知目标领域中表现更好。
domain generalizationconditional distributionsrobust optimizationwasserstein ballclassification
发现论文，激发创造
  • 关于认证和提高对未见领域的泛化能力

    本文提出了一种基于分布鲁棒优化的普适认证框架，旨在弥补现有基准数据集在测试时无法全面评估领域通用算法的局限性，并提出了一种训练算法，可以用于改进其认证性能。实证评估表明，该方法显著提高了风险压力下模型的最坏损失，而在基准数据集上并未出现显著的性能下降。

    Jun, 2022

  • 基于度量相似性学习的最优传输域泛化

    我们提出了一种基于优化输运的机器学习方法，该方法不仅提取不变特征，而且在提取特征时还限制了标签相似性，以实现跨多个领域的分类。实验结果表明，该方法优于大部分基线方法，各组件的消融研究也证明了方法的有效性。

    Jul, 2020

  • 基于模型的领域通用化

    本篇论文提出了一种基于模型的域泛化方法，通过对数据生成过程和同变性条件的建模，将域泛化问题转化为一个无限维的有约束统计学习问题，并利用非凸对偶理论发展了有约束松弛的统计问题，提出了具有收敛保证的域泛化算法，并在 ColoredMNIST，Camelyon17-WILDS，FMoW-WILDS 和 PACS 等基准测试中取得了高达 30 个百分点的改进。

    Feb, 2021

  • 通过条件不变表示实现域泛化

    本文针对数据集偏差问题，提出一种基于类条件分布的域不变特征表示方法，在合成和实际数据上的实验证明其有效性。

    Jul, 2018

  • 学习单域通用性

    本篇文章介绍了一种名为对抗域增强的方法，用于在单一训练域情况下提高模型的泛化性能，通过使用元学习方案和 WAE 来松弛最坏情况限制，并在多个基准数据集上广泛实验，验证了该方法对于缓解单一域泛化问题的优越表现。

    Mar, 2020

  • 基于 Wasserstein 距离的数据驱动分布鲁棒优化：性能保证和可行重构

    研究使用 Wasserstein metric 中有限训练数据集，构建球形分布空间来解决分布鲁棒优化问题，并阐述其在投资组合优化和不确定性量化等领域的实用性和性能保证。

    May, 2015

  • Wasserstein 分布鲁棒优化：机器学习中的理论和应用

    此论文介绍了基于 Wasserstein 分布鲁棒优化的数据驱动决策方法，能够解决样本有限、参数不确定的情况下，采用仅仅通过数据学习决策的问题，绕过测试样本不能涵盖所有情况的问题，具有良好的效果且容易计算。此方法对于分类、回归等基本学习任务有很好启示作用。

    Aug, 2019

  • 使用 Wasserstein 距离进行极小极大统计学习

    本论文基于 Wasserstein 空间的球体不确定性集合，提出了用于统计学习的极小极大框架，并证明了涉及原始极大似然问题的覆盖数特性的一般化界限。 作为一个具体的例子，我们为基于传输的域自适应问题提供了推广保证，其中源域和目标域分布之间的 Wasserstein 距离可以可靠地从未标记样本中估算。

    May, 2017

  • 通过分布匹配进行到未见过的领域的泛化

    本文探讨监督学习中数据导致的实际问题，着重于领域泛化研究，提出最小化给定领域对之间差异的方法，并在 EEG 数据集中验证了该策略。

    Nov, 2019

  • （正则化的）Wasserstein 鲁棒分布模型精确泛化保证

    本研究表明，Wasserstein 分布鲁棒估计器的推广保证其可适用于一般模型类，并且不会受到维度诅咒，甚至可以涵盖测试中的分布偏移，这些结果可以延伸到新引入的 Wasserstein 分布性机器学习问题的正则化版本。

    May, 2023