Mar, 2022

全局 - 局部正则化的分布鲁棒性

PDF
TL;DR本文提出一种基于 Wasserstein 的分布鲁棒性优化方法，旨在通过同时应用本地和全局正则化，将原始分布与最具挑战性的分布相结合，提高模型的建模能力，解决深度神经网络在实际应用中对抗性示例和分布偏移等问题。实验结果表明，该方法在半监督学习、领域适应、领域泛化和对抗机器学习等各领域中均明显优于现有的正则化方法。
deep neural networksadversarial examplesdistribution shiftsdistributional robustness optimizationwasserstein-based dro
发现论文，激发创造
  • Wasserstein 分布稳健优化和变差正则化

    本文发展了关于 Wasserstein DRO（分布鲁棒优化问题中的一种方法）变化规则的一般理论，它是一种新形式的正则化，可以处理可能不是凸的和不光滑的损失以及非欧几里得空间上的损失。通过应用我们理论中的变化规则，我们为对抗性鲁棒学习提供了新的泛化保证。

    Dec, 2017

  • 强化学习中的分布鲁棒性和正则化

    本文介绍了一种新的 Wasserstein 分布强化学习框架，并将其与正则化相联系，从而为解决强化学习中的外部不确定性问题提供一个新的实用工具。

    Mar, 2020

  • 面向群体转移的分布式鲁棒神经网络：正则化对最坏情况泛化的重要性

    本研究发现，对过度参数化的神经网络直接应用分组分布式稳健优化（DRO）不起作用；相反，需要使用强化正则化或提前停止来提高最坏组的准确性，这表明对于过度参数化的情况下的 “最坏组” 泛化，正则化是必不可少的。

    Nov, 2019

  • 具原则的学习方法：带有局部扰动的 Wasserstein 分布鲁棒优化

    本文提出了一种基于新近估算定理的 WDRO（Wasserstein 分布鲁棒优化）最小化器，通过实现该最小化器及提供相应的风险一致性结果，发现该方法成功应用于本地扰动数据的 WDRO 推断，同时对噪声数据如图像分类数据集表现出鲁棒性优异的效果。

    Jun, 2020

  • 异常值鲁棒的 Wasserstein DRO

    给定一个研究论文，提取 5 个关键词，准确地代表其主要主题和研究领域。然后，用一句简明扼要的中文句子概括该论文。

    Nov, 2023

  • 基于数据驱动的分布鲁棒优化最优成本选择

    提供了一种自然的数据驱动方式，用于学习分布绝对稳健优化问题中定义的分布区间，证明该框架包括自适应正则化作为一个特殊案例，实证表明所提出的方法能够改进广泛应用的机器学习估计器。

    May, 2017

  • 分布稳健的迁移学习

    我们的论文介绍了一种新颖的转移学习方法，即分布鲁棒优化（TransDRO），它破除了严格的相似性约束，并通过在不确定性集合内优化最具对抗性的损失来优化目标数据的预测性能。通过数值研究和多机构电子健康记录数据的分析，我们验证了 TransDRO 的稳健性和准确性，突显其在转移学习应用中作为强大工具的潜力。

    Sep, 2023

  • 分布鲁棒优化中第二玩家建模

    本文提出了一种基于神经生成模型的分布鲁棒优化 (DRO) 方法，通过对不确定集合中的分布进行建模，使得模型在不确定的分布中表现优异，并提出一种 KL 约束内部最大化目标的松弛优化方式，通过大规模生成模型的梯度优化来解决相应的实现和优化挑战，并且开发模型选择启发式方法来指导超参数搜索。实验结果表明提出的方法比当前基线模型更具鲁棒性。

    Mar, 2021

  • 神经网络的 Wasserstein 分布鲁棒性

    对于图像识别任务，深度神经网络易受到针对性攻击，本文使用 Wasserstein 分布鲁棒优化技术重新构建问题模型，并提出了新的攻击算法，包括 FGSM 和 PGD，并给出了对分布威胁模型的渐进估计。

    Jun, 2023

  • 通过分布式稳健优化实现统一性能学习模型

    本研究提出了一种分布鲁棒的随机优化框架，利用凸形式化来解决学习模型受到数据生成分布扰动的问题，并通过多项收敛性保准来证明模型的可靠性，同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。

    Oct, 2018