本文提出了一种方法来计算特定概率模型下利益期望,并给出了为不同的概率模型设置偏差范围的基于最优输运的度量方法,同时应用于风险分析。
Apr, 2016
利用分布鲁棒优化的方式解决神经网络在对抗攻击下的鲁棒性问题,通过在 Wasserstein ball 内惩罚扰动数据分布的方式,通过我们提出的训练过程,能够实现对训练数据的最坏情况扰动而获得中等水平的健壮性,同时具有较小的计算和统计成本,并且我们的统计保证使我们能够有效地验证整体损失的健壮性,对于感知扰动,我们的方法与启发式方法相匹配或更好。
Oct, 2017
本文提出一种基于 Wasserstein 的分布鲁棒性优化方法,旨在通过同时应用本地和全局正则化,将原始分布与最具挑战性的分布相结合,提高模型的建模能力,解决深度神经网络在实际应用中对抗性示例和分布偏移等问题。实验结果表明,该方法在半监督学习、领域适应、领域泛化和对抗机器学习等各领域中均明显优于现有的正则化方法。
Mar, 2022
此论文介绍了基于 Wasserstein 分布鲁棒优化的数据驱动决策方法,能够解决样本有限、参数不确定的情况下,采用仅仅通过数据学习决策的问题,绕过测试样本不能涵盖所有情况的问题,具有良好的效果且容易计算。此方法对于分类、回归等基本学习任务有很好启示作用。
Aug, 2019
本研究提出了一种分布鲁棒的随机优化框架,利用凸形式化来解决学习模型受到数据生成分布扰动的问题,并通过多项收敛性保准来证明模型的可靠性,同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。
Oct, 2018
利用最优传输的 Kantorovich- Rubinstein 对偶公式的铰链正则化版本,提出了一个新的框架来学习 1-Lipschitz 神经网络,并在此基础上进行分类。该方法能够提高网络的鲁棒性、具有可验证的鲁棒性边界,并在不降低准确度的前提下解决了这一问题。
Jun, 2020
提供了一种自然的数据驱动方式,用于学习分布绝对稳健优化问题中定义的分布区间,证明该框架包括自适应正则化作为一个特殊案例,实证表明所提出的方法能够改进广泛应用的机器学习估计器。
May, 2017
本文研究了机器学习分类器对抗样本(躲避攻击)的鲁棒性,使用最优传输来表征在这一场景下可能的最小损失。作者应用该框架研究了高斯数据的情况,并探究了鲁棒性训练神经网络在 MNIST、Fashion MNIST 和 CIFAR-10 数据集上的最优分类性能与实际性能间的差距。
Sep, 2019
对于图像识别任务,深度神经网络易受到针对性攻击,本文使用 Wasserstein 分布鲁棒优化技术重新构建问题模型,并提出了新的攻击算法,包括 FGSM 和 PGD,并给出了对分布威胁模型的渐进估计。
Jun, 2023
本文提出了一种基于神经生成模型的分布鲁棒优化 (DRO) 方法,通过对不确定集合中的分布进行建模,使得模型在不确定的分布中表现优异,并提出一种 KL 约束内部最大化目标的松弛优化方式,通过大规模生成模型的梯度优化来解决相应的实现和优化挑战,并且开发模型选择启发式方法来指导超参数搜索。实验结果表明提出的方法比当前基线模型更具鲁棒性。
Mar, 2021