对抗鲁棒性泛化需要更多数据
高维度分类器为何易受到“对抗性”扰动？本文中将阐述这种现象可能不是由于信息论的限制，而是由于计算约束所引起的。同时探讨了分类任务的一种特殊情况，即在高维空间中对于对抗扰动较大的学习是容易的，但是具有计算难度的。这种例子带来了对于经典学习和鲁棒性学习之间的计算复杂度的差异的新见解，并建议这种现象可能是学习算法计算能力所限制的必然副产品。
May, 2018
我们证明了，追求对抗鲁棒性和标准泛化之间存在固有的紧张关系，训练鲁棒性模型不仅可能更加费时，也会导致标准准确性的降低，并且这种现象是由于鲁棒分类器学习了根本不同的特征表示方法。
May, 2018
本文主要研究了机器学习模型的鲁棒性问题，特别是针对 l∞ 攻击所造成的影响，并考察了基于 Rademacher 复杂度的鲁棒泛化问题。研究表明，通过限制权重矩阵的 l1 范数可能是提高在对抗环境下的泛化性能的有效方法。
Oct, 2018
本文研究了神经网络对抗性鲁棒性问题，通过理论和实验结果表明，增加未标记数据的使用，可以提高抗干扰泛化性能，并提出一种算法在MNIST和Cifar-10上的对抗训练方法。
Jun, 2019
针对现代机器学习模型易受到对人类不可察觉的攻击的问题，采用对抗培训来学习鲁棒模型的代价是在未被扰动的测试集上存在更高的泛化误差，此研究证明更多的数据可能会增加鲁棒分类器与标准分类器泛化误差的差距并提出了理论结果以判定何时和何种情况下添加更多数据才能缩小这种差距，此现象也出现在线性回归模型中。
Feb, 2020
本文研究对抗训练在分类问题的应用，发现更多的训练数据可能会损害对抗准确性模型的泛化能力，特别在存在强对抗时更加明显，给出了针对线性和二维分类问题的实验支持。
Feb, 2020
本文研究了对抗攻击的鲁棒性理论，聚焦于随机化分类器并通过统计学习理论和信息论提供了其行为的彻底分析。我们引入了随机化分类器的新鲁棒性概念，在此基础上进行了两项新的贡献：提出了一种新的随机化分类器对抗泛化间隙的上界限和对其进行了一种简单而有效的噪声注入方法来设计鲁棒的随机化分类器。我们还在CIFAR-10和CIFAR-100标准图像数据集上使用深度神经网络的实验结果证实了我们的发现。
Feb, 2021
从学习理论的角度研究鲁棒学习的可行性，考虑样本复杂性，研究了鲁棒学习在拥有随机样本、满足Lipschitz条件的数据分布和更强学习能力的情况下的对抗性攻击的脆弱性，提出了基于经验风险最小化的鲁棒算法，并给出了查询复杂性的上下界。
Aug, 2023
通过受支持向量机（SVM）边界启发，本文提出了一种新的对抗训练方法来提高鲁棒分类器对线性和非线性分类问题中不确定性的处理能力。我们通过数据驱动的视角来解释鲁棒性，并推导了二元和多类情景下线性和非线性分类器的有限样本复杂度界限。我们的算法通过线性规划（LP）和二阶锥规划（SOCP）来最小化最坏情况下的代理损失函数，适用于线性和非线性模型。在MNIST和CIFAR10基准数据集上的数值实验显示，我们的方法与最先进的方法相比具有可比性能，在训练过程中不需要对抗性示例。我们的工作提供了一个全面的框架，用于增强二元线性和非线性分类器的鲁棒性，在面对对手时保持学习的鲁棒性。
Mar, 2024