本论文基于 Wasserstein 空间的球体不确定性集合,提出了用于统计学习的极小极大框架,并证明了涉及原始极大似然问题的覆盖数特性的一般化界限。 作为一个具体的例子,我们为基于传输的域自适应问题提供了推广保证,其中源域和目标域分布之间的 Wasserstein 距离可以可靠地从未标记样本中估算。
May, 2017
该论文讨论了一种名为 Distributionally Robust Optimization (DRO) 的学习方法,该方法不一定能够保证在全部情况下达到一致的低回归值,提出了一种替代方法 Minimax Regret Optimization(MRO),在适当的条件下,该方法可以在全部测试分布下达到一致地低回归值,尤其是在测试分布与训练数据相似性较低的情况下,MRO 可以作为处理分布偏移的有效方法。
Feb, 2022
对抗攻击的一个主要挑战是可能的攻击方法的庞大空间,本研究引入了一种称为分布对抗损失的新概念,旨在统一随机平滑和输入离散化两种有效削弱攻击者影响的方法。我们证明我们的概念具有 VC 维度和每个输入关联的允许对抗分布集合的大小方面的泛化保证,并通过实验证实该过程,改进了模型对各种对抗攻击的鲁棒性。
Jun, 2024
引入最大熵原理的一般化方法,应用于带有从数据中得出的经验边缘条件的分布集合,提出一种针对监督学习问题的通用 minimax 方法,其中最大熵机是一种新的最小化结构化分布中最坏情况 0-1 损失的线性分类器,并且通过实验表明可以优于其他线性分类器,同时证明了 minimax 方法中的泛化最坏情况误差保证的界限。
Jun, 2016
本文提出了一种基于神经生成模型的分布鲁棒优化 (DRO) 方法,通过对不确定集合中的分布进行建模,使得模型在不确定的分布中表现优异,并提出一种 KL 约束内部最大化目标的松弛优化方式,通过大规模生成模型的梯度优化来解决相应的实现和优化挑战,并且开发模型选择启发式方法来指导超参数搜索。实验结果表明提出的方法比当前基线模型更具鲁棒性。
Mar, 2021
该研究使用凸优化方法控制给定大小的所有子人群的最坏情况表现,从而提高模型的泛化能力。实证研究表明该方法可在未知子人群中推广。
Jul, 2020
本文通过使用最大平均偏差(MMD)来度量分布转移,研究了分布鲁棒优化的问题,在零阶、有噪音的优化设置下,提出了一种新颖的分布鲁棒贝叶斯优化算法(DRBO)。实验证明我们的算法在多个设置下能够获得次线性的稳健后悔的实现。
Feb, 2020
通过 von Neumann 最小极大定理,我们研究了在线凸优化游戏的最优策略的遗憾。我们证明了,在这种对抗性环境中,最优策略的遗憾与随机进程设置中经验最小化算法的行为密切相关:它等于最小期望损失的总和与最小经验损失之间的差的最大值。我们展示了最优策略的遗憾具有自然的几何解释,因为它可以被视为一个上凸函数的 Jensen 不等式中的差距。利用此表达式,我们对各种在线学习问题的最优策略给出了上下界限制。我们的方法提供了无需构建学习算法的上界,而提供了对抗者的明确最优策略的下界。
Mar, 2009
本研究提出了一种分布鲁棒的随机优化框架,利用凸形式化来解决学习模型受到数据生成分布扰动的问题,并通过多项收敛性保准来证明模型的可靠性,同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。
Oct, 2018
采用最坏情况下的对数损失最小化方法将公平性标准纳入分布鲁棒性的第一原则,并基于此原则推导出一种新的分类器,该方法具有凸性和渐近收敛性,并在三个基准公平数据集上展示了其实践优势。
Mar, 2019