具有掩码推断的随机平滑方法用于对抗性鲁棒文本分类

ACLMay, 2023

具有掩码推断的随机平滑方法用于对抗性鲁棒文本分类

Randomized Smoothing with Masked Inference for Adversarially Robust Text Classifications

Han Cheol Moon, Shafiq Joty, Ruochen Zhao, Megh Thakkar, Xu Chi

TL;DR本研究提出了 RSMI，这是一种新颖的 two-stage 框架，结合了随机平滑（RS）和掩码推断（MI），以提高 NLP 系统的对抗鲁棒性。经验证，RSMI 方法在基准数据集上比现有最先进方法提高了 2 至 3 倍的对付抗性，因此它是一种在实践中交用的大规模 NLP 模型稳定训练方法。

Abstract

Large-scale pre-trained language models have shown outstanding performance in a variety of NLP tasks. However, they are also known to be significantly brittle against specifically crafted adversarial examples, leading to increasing interest in probing the →

pre-trained language models adversarial robustness randomized smoothing masked inference nlp systems

发现论文，激发创造

提升随机平滑的鲁棒性：两种成本效益的方法

对随机平滑技术进行了改进以提高鲁棒性，包括引入新的训练方法和后处理方法，结果显示这些方法可以提高随机平滑分类器的鲁棒性性能和训练效率，并对基于模型集成的方法进行了理论分析。

Oct, 2023

通过随机 [MASK] 实现对文本对抗攻击的认证鲁棒性

本文提出了一种随机遮挡的可证明鲁棒防御方法，对于 AGNEWS 数据集上五个词，SST2 数据集上两个词的任意扰动分类可以获得超过 50% 的证明鲁棒性，并在多个数据集上明显优于最近提出的防御方法。

May, 2021

标签平滑化提高领域内外文本对抗鲁棒性

通过研究标签平滑策略在 NLP 领域不同任务中的应用，发现其可以有效地提高预训练模型的对抗鲁棒性，特别是在对抗攻击方面，并降低过度自信错误。

Dec, 2022

通过对抗训练平滑分类器实现可证明健壮的深度学习

本文提出使用对抗训练来提高基于随机平滑的分类器的效果，并设计一种适应平滑分类器的攻击方法，通过大量实验，得出这种方法在 ImageNet 和 CIFAR-10 上的性能显著胜过所有现有的可证明的 L2 - 强健分类器，证明了这种方法是可靠的，且半监督学习和预训练能够进一步提高其效果。

Jun, 2019

对文本分类器的可逆跳跃攻击和修改降维

提出了两种算法（RJA 和 MMR）来生成高效的对抗样本并提高样本的不可察觉性，并通过广泛实验表明，RJA-MMR 在攻击性能、不可察觉性、流畅性和语法正确性等方面优于当前最先进的方法。

Mar, 2024

自适应随机平滑：认证对抗样本的多步防御

提出自适应随机平滑（ARS）以对测试时自适应模型的预测结果进行认证，通过扩展使用 f - 差分隐私的随机平滑分析来认证多步骤的自适应组合，首次覆盖了有噪声输入的一般高维函数的合理自适应组合，我们将 ARS 应用于深度图像分类以认证预测结果，提供对有界 L∞范数的对抗样本的适应性防御，在 L∞威胁模型中，我们的灵活性通过高维度的输入相关掩码实现自适应，我们设计了 CIFAR-10 和 CelebA 基准测试，并展示了 ARS 将准确性提高了 2 到 5 个百分点，在 ImageNet 上，ARS 相对于标准 RS 改进了 1 到 3 个百分点。

Jun, 2024

通过自去噪平滑提高大型语言模型的稳健性

大型语言模型 (LLMs) 的漏洞性导致对抗性扰动攻击，而随着模型规模的增加和有限的访问权限，提高模型的鲁棒性变得很困难。我们提出了一种称为自修复平滑的方法，通过利用 LLMs 的多任务性质，首先去噪噪声输入，然后基于这些去噪版本进行预测，以提高模型对噪声数据的鲁棒性。实验结果表明，我们的方法在防御对抗攻击方面超过了现有方法，在下游任务和用户对齐方面都具有较好的鲁棒性。

Apr, 2024

Text-CRS: 一个通用的文本对抗攻击认证鲁棒性框架

本文提出了一种基于随机平滑的泛化认证鲁棒性框架 Text-CRS，用于自然语言处理中的文本，并对单词级对抗操作进行了证明，实现了显著的准确性提升。

Jul, 2023

[Re] 双采样随机平滑

该论文提出了一种名为 “Double Sampling Randomized Smoothing (DSRS)” 框架的方法来提高神经网络的抗干扰性认证，并通过实验验证了其效果。

Jun, 2023

基于机器学习的恶意软件检测器的认证对抗鲁棒性：(去) 随机平滑

本研究提出了一种针对补丁攻击的可验证防御机制，通过将可执行文件划分为非重叠的块，并采用多数投票的方式计算最终预测结果，从而最小化注入内容的影响。此外，引入了预处理步骤，将部分和标头的大小固定为块大小的倍数，从而确保恶意内容仅存在于整数个块中，同时保证对内容插入攻击具有认证的鲁棒性保证。经过广泛的消融研究，结果表明我们的方法在强攻击下展现出无与伦比的鲁棒性，优于文献中基于随机平滑的防御方法。

May, 2024