研究表明随机平滑是一种有效的提高深度神经网络分类器准确度和L2/高斯稳健性能的方法,并且在实验中也通过该方法显著地改善了已有的高斯稳健性能模型的准确性。
Jun, 2020
本研究将证明对抗鲁棒性的研究扩展到具有更一般和结构化输出的问题,并将输出空间建模为度量空间,利用距离/相似函数等技术应用于图像分割,物体检测和生成模型等机器学习问题。本研究中的中心平滑程序使用随机平滑技术产生确保在输入的任何有界范数对抗扰动时,由距离度量测量的输出变化保持较小的模型。并应用于创建具有不同输出空间的可证明的强鲁棒模型,展示此方法可以产生有意义的证书,同时不会过度降低模型的性能。
Feb, 2021
本文提出了一种基于新型局部化随机平滑方法的更普遍的模型合集鲁棒性认证方法,并在图像分割和节点分类任务上得到更高的准确性和更强的认证。
Oct, 2022
通过分析扩散模型的基本属性,建立它们能够提高认证鲁棒性的条件,进而提出了新的 DensePure 方法。DensePure 包括多个通过扩散模型的反向过程(具有不同随机因素)的去噪运行,用于消除对抗性输入。最终预测结果是通过对推断标签的多数投票得出的,其设计受到了对反向样本的条件分布的理论分析的启发。
Nov, 2022
本文提出了一个基于高斯噪声控制样本鲁棒性的训练方法,通过高斯噪声的代理指标筛选出不太可能从最坏情况的训练目标中受益的样本,从而获得稳健的分类器,并在实验中证明是有效的。
Dec, 2022
本研究分析了随机平滑在噪声训练基分类器时的风险和收益,并揭示了在什么分布下可以获得收益。实验表明,理论分析对随机平滑的实际应用有直接的影响。
May, 2023
对随机平滑技术进行了改进以提高鲁棒性,包括引入新的训练方法和后处理方法,结果显示这些方法可以提高随机平滑分类器的鲁棒性性能和训练效率,并对基于模型集成的方法进行了理论分析。
Oct, 2023
我们研究了在成本敏感场景中学习对抗鲁棒分类器的问题,通过一个二进制成本矩阵编码不同分类的敌对转换的潜在危害。我们提出了一种能够为任意成本矩阵提供严密鲁棒性保证的改进版随机平滑认证方法,并使用针对不同数据子组的细粒度认证半径优化方案,提出了一种优化成本敏感鲁棒性的平滑分类器训练算法。我们在图像基准测试和现实世界医学数据集上的大量实验证明了我们方法在实现显著改善认证成本敏感鲁棒性性能的同时,对整体准确性的影响可以忽略不计。
我们提出了一种用于预训练可认证的强健模型的方法,通过显著扩展预训练数据分布,在下游任务的微调中取得显著效益。我们通过对混合干净图像和各种噪声图像进行预训练,发现即使仅在干净图像上进行微调,也能取得惊人的认证准确率。此外,我们的方法仅需一个模型,即可处理各种噪声水平,大大降低了与以往使用多个模型的方法相比的计算成本。尽管仅使用一个模型,我们的方法仍可以得出与现有的多模型方法相当甚至更好的结果。
Dec, 2023
本研究针对当前对抗性模型鲁棒性的主流方法提出了改进,通过仅对自然样本的梯度进行正则化来增强模型的平滑性。研究表明,这种方法在现代视觉变换器中表现优异,能在显著降低计算成本的同时,接近最先进的对抗训练性能,从而为模型鲁棒性提供了新的见解。
Sep, 2024