通过对扰动样本进行对抗标记的鲁棒性正则化
提出了一种基于对经验风险中扁平局部最小值理解的正则化方法 —— 对抗模型扰动 (AMP),该方法通过最小化 AMP 损失而非直接最小化经验风险,可帮助减轻过度拟合和改善泛化,并已在各种现代深层架构上得到广泛验证。
Oct, 2020
提出了一种基于虚拟对抗损失的正则化方法 - 一种关于条件标签分布的局部平滑度的新度量。虚拟对抗损失被定义为每个数据点周围条件标签分布对本地扰动的鲁棒性。我们的方法定义了无需标签信息的对抗方向,因此适用于半监督学习。在多个基准数据集上,通过熵最小化原理实现的 VAT 在半监督学习任务上实现了 SVHN 和 CIFAR-10 的最新性能。
Apr, 2017
最新机器学习模型存在脆弱性,而对抗训练是一种有效方法,本研究着重探究线性模型下的脆弱性,并对对抗训练在线性回归和其他正则化方法中的解决方案进行了比较分析。
Oct, 2023
本文研究了神经网络建模的正则化视角,通过将模型向分类决策边界的平滑变化进行防御,使其尽可能不改变预测结果,但会导致预测结果的置信度下降,这种正则化方法要避免性能下降。
Nov, 2020
关键词:对抗鲁棒性、半监督对抗训练、有标签数据稀缺、正则化项、知识蒸馏。摘要:本文研究了对抗鲁棒性的半监督对抗训练,探究了稀缺有标签数据情况下的两个鲁棒风险上界,并提出了正则化项以应用于无标签数据,最后通过半监督教师模型的知识蒸馏结合提出的正则化项进行半监督对抗训练算法。实验证明,相较于现有算法,我们提出的算法在性能方面取得了显著的提升,并且即使有限的有标签数据量,我们的算法仍能与使用所有标签数据的监督对抗训练算法相媲美,无论是在标准准确率还是在鲁棒准确率上,比如我们的算法只使用 8%的有标签数据时,在 CIFAR-10 数据集上与监督对抗训练算法相比表现接近。
Aug, 2023
本文提出了对于概率鲁棒学习方法的新的几何观点,针对其原始公式存在的细微缺陷,引入了一族概率非局部周长函数,通过新颖的松弛方法证明了解的存在性,并研究了所引入的周长的性质与局部极限。
May, 2023
该研究提出了一个确定深度学习模型标签更改是否合理的框架,并且定义了一个自适应的鲁棒性损失,使用导出的经验公式,开发了相应的数据增强框架和评估方法,证明了其对确定性标签下的一阶最近邻分类的维持一致性,并提供了实证评估结果。
Jun, 2021
本文介绍了一种新型的正则化方法,该正则化方法鼓励在训练数据附近的损失行为呈线性,从而惩罚梯度混淆并鼓励鲁棒性。通过在 CIFAR-10 和 ImageNet 上的大量实验,我们展示了使用我们的正则化方法训练的模型避免了梯度混淆,并且比对抗训练能够更快地训练。使用这种正则化方法,我们在 ImageNet 上取得了 47% 的对抗准确率和 8/255 的和 CIFAR-10 同样的表现。
Jul, 2019
研究多标签学习模型的脆弱性和准确性,提出通用的攻击框架来攻击深度神经网络,并设计两个特定方法来生成有针对性的多标签扰动来检测模型的脆弱性,并提出了一种潜在的防御策略来增强多标签深度学习模型的可解释性和鲁棒性。
Jan, 2019
该论文研究神经网络的对抗强度和校准之间的联系,并提出了 Adversarial Robustness based Adaptive Label Smoothing (AR-AdaLS) 方法,以提高模型校准和鲁棒性。该方法可应用于单个模型和集成模型,可在数据偏移情况下实现更好的校准结果。
Jun, 2020