通过最优输运和最优配对实现的对抗性风险
本文通过应用最优传输、鲁棒统计、泛函分析和博弈理论等技术工具,重审了 adversarial risk 的定义并探究了其与 adversarial robustness 的等价关系,证明了在对抗分类问题中存在纯 Nash 均衡,并通过最小化两个分布在无限 - Wasserstein 不确定性集之间的贝叶斯误差来描述 adversarial risk。
Jan, 2022
本文研究了机器学习分类器对抗样本(躲避攻击)的鲁棒性,使用最优传输来表征在这一场景下可能的最小损失。作者应用该框架研究了高斯数据的情况,并探究了鲁棒性训练神经网络在 MNIST、Fashion MNIST 和 CIFAR-10 数据集上的最优分类性能与实际性能间的差距。
Sep, 2019
本文提出了一种通过优化转移距离来学习捕捉数据时间空间关系的紧凑(低维)表示,与此同时通过 Wasserstein GANs 和分类器连接的新框架产生对比学习的负分布,结果在人类动作识别任务中表现良好。
Jul, 2020
利用最优传输的 Kantorovich- Rubinstein 对偶公式的铰链正则化版本,提出了一个新的框架来学习 1-Lipschitz 神经网络,并在此基础上进行分类。该方法能够提高网络的鲁棒性、具有可验证的鲁棒性边界,并在不降低准确度的前提下解决了这一问题。
Jun, 2020
提出一种将对抗学习问题转化为极小极大问题分析风险界的一般性方法,并应用于多类分类问题中的 SVM、深度神经网络和 PCA 等,为此提出了一种新的基于 Lipschitz 条件弱版本的覆盖数的风险界,并改进了包含两个依赖于数据的项的界,以实现对抗鲁棒性。
Nov, 2018
以单一框架统一 Optimal Transport(OT)为基础的对抗方法,通过对统一框架的全面分析来阐明每个组成部分在训练动力学中的作用。我们提出了一个简单而新颖的方法,逐步改进生成分布,并逐渐与数据分布对齐。该方法在 CIFAR-10 上实现了 2.51 的 FID 得分,胜过了统一的基于 OT 的对抗方法。
Oct, 2023
本文研究了在对抗训练中通过二元高斯混合分类问题的分析,得到最优贝叶斯分类器和最优对抗分类器之间的区别,并研究了不同分布参数(类别中心之间的距离、类别比例和协方差矩阵)对精度差异的影响,提出在一定条件下,平衡类别可以实现对抗分类器的自然误差和精度差距的局部最优化,并证明在最坏情况下精度差距为 Theta(epsilon^2),这在理论上表明了实现近乎完美精度的强健分类器的可能性,这在实际算法中很少体现。
Jul, 2021
研究了均匀分布在 {0,1}^n 上的实例中的敌对扰动,提出了不同于通常定义的错误区域的保真度定义,并根据该定义研究了任何分类问题的任何分类器的风险和稳健性的内在限制。使用布尔超立方体的等周不等式和中心极限定理,对单个和大规模的问题提出了与数学相关的结果。
Oct, 2018
本文研究了针对对抗性样本的最新的防御方法和评估对抗性鲁棒性的方法,提出了 “对抗风险” 作为实现模型鲁棒性的目标,并将常用的攻击和评估度量框架化为真正的对抗风险的可行替代目标,指出模型可能会优化该替代目标而不是对抗风险,发展了识别混淆模型和设计透明模型的工具和启发式方法,并通过重新调整梯度自由优化技术为对抗攻击来证明这在实践中是一个重大问题,这被用于将几个最近提出的防御的准确性降低到接近零。我们希望我们的公式和结果能够帮助研究者开发更强大的防御措施。
Feb, 2018