对抗学习的理论分析:一种极小极大的方法
本文利用多域最小最大优化的一般性框架,推进了不同类型的对抗性攻击设计,并展示了该统一框架在攻击目标函数,抵御多输入下的统一扰动,生成攻击和数据变换下的对抗攻击等方面的优异性能和整体性工具的作用。
Jun, 2019
本文通过应用最优传输、鲁棒统计、泛函分析和博弈理论等技术工具,重审了 adversarial risk 的定义并探究了其与 adversarial robustness 的等价关系,证明了在对抗分类问题中存在纯 Nash 均衡,并通过最小化两个分布在无限 - Wasserstein 不确定性集之间的贝叶斯误差来描述 adversarial risk。
Jan, 2022
本文提出一种基于加权最小化风险优化方法的防御策略,通过优先考虑更易受攻击的样本,可以在不均衡攻击下实现防御,并通过实验证明了该模型在非均衡攻击下取得了明显的改进,而在均衡攻击下平均正确率并未显著下降。
Oct, 2020
本文研究了机器学习分类器对抗样本(躲避攻击)的鲁棒性,使用最优传输来表征在这一场景下可能的最小损失。作者应用该框架研究了高斯数据的情况,并探究了鲁棒性训练神经网络在 MNIST、Fashion MNIST 和 CIFAR-10 数据集上的最优分类性能与实际性能间的差距。
Sep, 2019
最新机器学习模型存在脆弱性,而对抗训练是一种有效方法,本研究着重探究线性模型下的脆弱性,并对对抗训练在线性回归和其他正则化方法中的解决方案进行了比较分析。
Oct, 2023
本文从最优传输的角度分析了机器学习算法的敌对风险和敌对分类器,针对二元分类的 0-1 损失,建立了优化传输成本与两类别概率分布之间的联系,得出了单峰分布下的优化敌对风险和敌对分类器,通过凸性和平滑性假设,扩展了结果到通用损失函数。
Dec, 2019
引入最大熵原理的一般化方法,应用于带有从数据中得出的经验边缘条件的分布集合,提出一种针对监督学习问题的通用 minimax 方法,其中最大熵机是一种新的最小化结构化分布中最坏情况 0-1 损失的线性分类器,并且通过实验表明可以优于其他线性分类器,同时证明了 minimax 方法中的泛化最坏情况误差保证的界限。
Jun, 2016
在分布鲁棒学习中,我们引入了基于对抗性矩违规的新的极小极大目标,并展示了通过最小化该目标等效于最小化与真实条件期望的最坏情况下的 $l_2$ 距离,从而在计算成本上提供了大体量的经验性节省。
May, 2024
对抗攻击的一个主要挑战是可能的攻击方法的庞大空间,本研究引入了一种称为分布对抗损失的新概念,旨在统一随机平滑和输入离散化两种有效削弱攻击者影响的方法。我们证明我们的概念具有 VC 维度和每个输入关联的允许对抗分布集合的大小方面的泛化保证,并通过实验证实该过程,改进了模型对各种对抗攻击的鲁棒性。
Jun, 2024